AWS基盤障害によるRDSインスタンス停止でシステム接続不可 – Accel-Mart Plus support

質問

⚠️ この事例は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

🕓 事例公開日 : 2025-02-18

【背景】

受付システムを運用中に、データベース接続エラーが発生してシステムが利用できなくなった。コールセンターシステムで使用しているため、緊急対応が必要な状況となった。

1. 事象

エラーメッセージ・スタックトレース：

システムデータベースの接続に失敗しました。
Cannot connect to server on host 'database01.xxxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com':

対象のコンピューターによって拒否されたため、接続できませんでした。.
Socket Error Code: 10061($274D)

症状の説明：

・受付システムにアクセスできない状態
・SQLツールからのデータベース接続も失敗
・APサーバ、DBサーバの再起動を実施したが改善されない
・再起動プロセスが異常終了する

2. 発生条件

・発生日時：2025年1月15日 10:00～10:15頃
・対象システム：本番環境の受付システム
・影響範囲：システム全体が利用不可

回答

1. 原因

AWS基盤側の問題により、RDSインスタンスに障害が発生し、データベースサービスが停止しました。

2. 対応結果

弊社側でRDSの再起動を実施し、システムは正常に復旧しました。現在はログイン画面の表示も確認できており、正常に稼働しています。

3. 調査方法

1. システム停止の確認（2025年1月15日 10:00～10:15頃）
2. 監視アラート通知メールの発報確認
・URL監視エラー検知：2025-01-15 10:11:55
・APサーバダウン検知：2025-01-15 10:11:51
3. AWS側への問い合わせ実施
4. AWS基盤障害の報告取得と原因確認
5. RDS再起動による復旧対応

4. 今後の対応について

監視アラート通知メールの活用：

同様の事象が発生した場合は、監視アラート通知メールが発報されます。メール受信後、システム利用ができない状況を確認いただき、弊社サポート窓口までRDS再起動をご依頼ください。早急に対応いたします。

RDS再起動権限の検討：

お客様側でRDS再起動を実行できる機能の追加について、今後検討いたします。追記
現在は、運用管理サイトより、RDS の再起動が可能となっております。
https://aws.accel-mart.com/am_document/texts/system_operation/system_information.html#db

質問