質問
🕓 事例公開日 : 2025-07-15
【背景】
社内ワークフローシステムを運用中に、監視システムからRDSのCPU使用率が異常に高くなったとの通知を受けた。システムの動作に影響が出る可能性があるため、原因を調べてほしい。1. 事象
監視アラート内容:
◆監視対象システムID:123456789012システム名:社内ワークフロー◆時間
障害検知日時:2025-06-13 10:22:12◆監視項目
◆検出した値 99.19 %
リソース監視 RDS-database01-123456789012 CPU使用率 (10分間95%超過)
症状の説明:
RDSのCPU使用率が99.19%まで上昇し、10分間にわたって95%を超過した状態が続いた。2. 発生条件
・発生日時:2025年6月13日 10:22頃・対象システム:社内ワークフローシステム
・影響範囲:RDSデータベースサーバー
回答
1. 原因
技術的な原因:
IM-Workflowの処理において、特定のSQL文が大量実行されたことによりRDSのCPU使用率が急激に上昇しました。技術的要因の分析:
・ワークフロー画面操作:ノード編集画面と標準処理画面の頻繁な画面遷移 → 大量のリクエスト発生・URL処理の集中:特定のURL(node_config_multi関連)への多数のアクセス → システムリソースの集中消費
・SQL実行の増加:画面遷移のたびに複雑なSQL文が実行される → データベースへの高負荷
・処理時間の延長:個別の処理が3分近くかかる状態が多数発生 → リソース占有時間の長期化
・同時実行の重複:複数の重い処理が同時に動作 → CPU使用率の限界値到達
2. 対応方法
https://example.accel-mart.com/context_path/im_workflow/common/proc/apply/apply/encodeImwWorkflowParams/im_workflow/common/unit/node_config/node_config_multi
上記のURLは、縦配置や横配置のフロー設定でノード編集画面に遷移する際、および、ノード編集画面から標準処理画面に遷移する際に実行されます。
ノード編集画面と標準処理画面を行き来するだけで、該当URLへのリクエストが多数発生します。
そのため、このURLでの処理内容、該当時間帯、受付リクエスト数の増加状況が、想定の範囲内かをご確認ください。
3. 原因究明に至るまでの調査方法
1. 監視アラートの詳細確認(2025-06-13 10:22頃のCPU使用率99.19%検知)2. 該当時間帯のリクエストログ分析(request.logから処理時間の長いリクエストを特定)
3. Amazon RDS Performance Insightsによる実行SQL文の確認
4. im-log-statsツールを使用したアクセスパターンの解析
5. 特定URL(https://example.com/foo/bar/baz)への集中アクセスパターンの確認
6. ワークフロー機能の画面遷移パターンと処理負荷の関連性分析