質問
🕓 事例公開日 : 2025-07-15
【背景】
システムの申請画面等で表示に時間がかかる事象が発生し、ユーザーに影響が出ている。サーバー再起動により一時的に解消したが、再発防止のため根本原因を特定したい。1. 事象
症状の説明：
・CPU使用率が異常に高くなる・全画面で表示速度が遅くなる
・ユーザーの操作に支障が出る状態
・片側のAPサーバーでのみ高負荷が発生することが多い
2. 発生条件
・特定の日時に集中して発生・APサーバーの負荷分散に偏りが見られる
・サーバー再起動により症状は改善される
回答
1. 原因
技術的な原因：
特定のURLへのリクエスト集中により、APサーバーの処理能力を超える負荷が発生し、CPU使用率が大幅に上昇しました。技術的要因の分析：
・リクエスト数の急増：特定のURLへの同時アクセスが集中 → サーバーリソースの枯渇・処理時間の長期化：個々のリクエストの処理時間が通常より大幅に延長（最大約7分） → スレッドプールの枯渇
・スティッキーセッション機能：同一ユーザーが同じサーバーに固定される仕組み → 負荷の偏在化
・ラウンドロビン方式の限界：新規セッション時のみ負荷分散が機能 → 既存セッションの負荷集中
根本的な要因：
承認管理機能とメール関連機能への同時アクセス集中により、APサーバーの処理能力を超える負荷が発生したことが主要因です。2. 対応方法
根本解決方法：
1. 高負荷となっているURLの処理内容を見直し、最適化を実施2. 該当時間帯のリクエスト数が想定範囲内かどうかを確認し、必要に応じてアクセス制御を検討
3. リソース不足による問題の場合、解決手段の一つとしてプラン変更もご検討いただけます。詳細は以下のドキュメントをご確認ください
- 標準リソースプラン: https://aws.accel-mart.com/service_manual/texts/03_specifications/02_resource_plans/01_standard_resource_plans.html
- Gearプラン: https://aws.accel-mart.com/service_manual/texts/03_specifications/02_resource_plans/02_gear_resource_plans.html
暫定対処方法：
高負荷時にはサーバー再起動により症状を一時的に解消できますが、根本的な解決には上記の対応が必要です。3. 原因究明に至るまでの調査方法
1. APサーバー（AP01、AP02）のCPU使用率とリクエスト数の相関関係を分析2. リクエストログから処理時間の長いURLを特定し、アクセス頻度を調査
3. 特定されたURL（https://example.com/app/foo/bar/PROC_A、https://example.com/app/baz/qux/PROC_B等）の処理内容を確認
4. ロードバランサーの設定（スティッキーセッション、ラウンドロビン方式）による負荷分散状況を検証
5. 同時期の他システムへの影響範囲を確認し、全体的な負荷状況を把握 今後の障害調査については、以下のドキュメントに記載された情報をご準備いただくことで、より迅速な原因特定が可能となります：
- Accel-Mart Plus お問い合わせガイド - 障害調査
- 問い合わせに必要な情報の準備 また、調査に際しては、「im-log-stats」によるログの解析についても利用をご検討いただけますと幸いです。
■ Accel-Mart Plus お問い合わせガイド - ⑪問題の切り分け、原因特定作業などの実施
https://aws.accel-mart.com/support_inquiry_guide/texts/inquiry_process/support_category_decision/failure_analysis.html#root-cause-analysis