質問
⚠️ この事例は公開されてから1年以上経過しています。 情報が古い可能性がありますので、ご注意ください。
🕓 事例公開日 : 2024-08-13
【背景】
深夜の時間帯に検証環境でAPサーバダウンとURL監視エラーのアラートメールを受信した。業務時間外のため影響はなかったが、原因を把握しておきたい。1. 事象
アラートメール受信状況：
02:20 PROBLEM:プロセス監視 123456789012 APサーバダウン検知02:20 PROBLEM:URL監視 123456789012 エラー検知02:31 OK:URL監視 123456789012 エラー検知02:34 OK:プロセス監視 123456789012 APサーバダウン検知
症状の説明：
深夜2時20分頃にAPサーバのプロセス監視とURL監視で同時にエラーが検知された。約10分後にURL監視が復旧し、その数分後にプロセス監視も正常に戻った。翌朝の確認では環境へのログインは問題なく、定期バックアップも正常に完了していた。JVMログの内容：
[2024-07-18 02:12:03] ～ [2024-07-18 02:34:22]APサーバからDBサーバへの接続でタイムアウトが発生
APサーバからデータベースへの接続時にタイムアウトエラーが記録されており、データベース側で何らかのトラブルが起きていた可能性がある。
2. 発生条件
・発生日時：7月18日 02:20頃・対象環境：検証環境（アカウントID: 123456789012）
・発生時間帯：深夜の業務時間外
・影響範囲：APサーバとデータベース間の通信
回答
1. 原因
技術的な原因：
AWS基盤側の問題により、データベースインスタンスが再起動したことが原因です。技術的要因の分析：
・要因1：AWS基盤側で障害が発生 → データベースインスタンスの予期しない再起動が発生・要因2：データベースインスタンスの再起動 → APサーバからの接続要求がタイムアウト
・要因3：データベース接続の失敗 → APサーバのプロセスが正常に動作できず停止
・要因4：APサーバの停止 → URL監視とプロセス監視でアラートが発報
根本的な要因：
AWS基盤レベルでの障害により、データベースインスタンスが強制的に再起動されたことが根本原因です。2. 対応結果
AWS側で対応が完了しており、データベースインスタンスは現在正常に稼働しています。APサーバも復旧し、定期バックアップも正常に実行されていることを確認済みです。※AWS基盤障害の詳細な原因については、AWSの回答方針により開示することができません。ご了承ください。
3. 調査方法
1. アラートメールの受信時刻と内容を確認（02:20～02:34の時系列を整理）2. 翌朝の動作確認（ログイン可能性、定期バックアップの実行状況）
3. JVMログの分析（02:12:03～02:34:22のタイムアウトエラーを特定）
4. データベース側のイベント調査（該当時間帯の異常の有無）
5. AWS側への問い合わせ（基盤側の障害状況の確認）
6. データベースインスタンスの再起動イベントの確認（7月18日2:10～2:30頃）
7. 現在の稼働状況の最終確認