質問
⚠️ この事例は公開されてから1年以上経過しています。 情報が古い可能性がありますので、ご注意ください。
🕓 事例公開日 : 2024-11-05
【背景】
本番環境システムにて、特定の時間帯にAPサーバのCPU使用率が異常に高くなる現象が発生した。1. 事象
エラーメッセージ・スタックトレース：
[ERROR] e.http-503 - [] [E.IWP.SERVLETS.00002] 受付キューの設定値を超えているため127.0.0.1からのページ要求が処理されません。設定値:100jp.co.intra_mart.common.aid.jsdk.javax.servlet.exception.ServiceUnavailableException: [E.IWP.SERVLETS.00002] 受付キューの設定値を超えているため127.0.0.1からのページ要求が処理されません。設定値:100
症状の説明：
10月9日19:15頃から、APサーバのCPU使用率が100%近くまで急激に上昇し、システムのレスポンスが悪化した。2. 発生条件
・発生日時：10月9日19:15頃 ・対象サーバ：APサーバ ・症状：CPU使用率が100%近くまで上昇回答
1. 原因
技術的な原因：
特定のURL（http://example.com/foo/bar）に対するリクエスト数が急激に増加し、受付キューの設定値（100）を超過したため、APサーバのCPU使用率が100%近くまで上昇しました。技術的要因の分析：
・リクエスト数の急増：特定のURL処理に対するアクセスが集中 → サーバリソースの消費増大・受付キューの限界到達：同時処理可能な上限値（100）を超過 → 新規リクエストの処理拒否
・処理時間の延長：高負荷状態での個別リクエスト処理時間増加 → 全体的なレスポンス悪化
・CPU使用率の急上昇：大量のリクエスト処理によるCPUリソース消費 → システム全体のパフォーマンス低下
根本的な要因：
想定を超えるアクセス集中により、現在のシステムリソースでは処理しきれない負荷が発生したことが根本原因です。2. 対応方法
根本解決方法：
1. 該当URLの処理内容を見直し、パフォーマンス改善を実施2. 受付キューの設定値を適切な値に調整（必要に応じて）
3. アクセスパターンの分析を行い、負荷分散の検討
暫定対処方法：
1. 高負荷時間帯のアクセス制限2. 定期的なシステムリソース監視の強化
3. 異常検知時の自動アラート設定
3. 原因究明に至るまでの調査方法
1. CPU使用率の異常上昇を確認（19:15頃の監視データ）2. jvmログの確認により受付キュー超過エラーを発見
3. im-log-statsツールを使用してリクエストログを解析
4. 特定URL（http://example.com/foo/bar）への集中アクセスを特定
5. 該当時間帯のリクエスト数と処理時間の詳細分析を実施
リソース不足による問題の場合、解決手段の一つとしてプラン変更もご検討いただけます。詳細は以下のドキュメントをご確認ください。 標準リソースプラン: https://aws.accel-mart.com/service_manual/texts/03_specifications/02_resource_plans/01_standard_resource_plans.html Gearプラン: https://aws.accel-mart.com/service_manual/texts/03_specifications/02_resource_plans/02_gear_resource_plans.html