質問
⚠️ この事例は公開されてから1年以上経過しています。 情報が古い可能性がありますので、ご注意ください。
🕓 事例公開日 : 2025-05-27
【背景】
詳細なログを確認するため、5/1 21:50にログレベルをDebugに変更した。その後、5/2 15:38頃から環境にアクセスできなくなり、システムが不安定になった。確認したところ、システムログが21GBまで膨れ上がっていた。1. 事象
症状の説明:
・5/2 16:00にログレベルをinfoに戻すため即時バックアップを実行したが、完了しない状況が発生・バックアップ中は環境にアクセスできず、開発作業が停止
・ログレベルをInfoに戻してWarファイルを展開後も「502 Bad Gateway」エラーでアクセス不可
・システムログファイルが42GB、ストレージ内のログファイルが22GBまで増大
・JVMログファイルも複数のファイルで数百MB単位で出力されている状態
2. 発生条件
・開発環境システム(システムID: 123456789000)・ログレベルをDebugに変更した状態で長時間稼働
・大量のログ出力によりディスク容量が枯渇した環境
回答
1. 原因
技術的な原因:
ログレベルをDebugに変更したことで大量のログが出力され、ディスク容量が枯渇したため、システムが正常に動作しなくなりました。技術的要因の分析:
・ログレベルをDebugに設定 → 通常より詳細なログが大量出力される・長時間のDebugログ出力 → システムログが42GB、ストレージ内ログが22GBまで増大
・ディスク容量の枯渇 → システムの書き込み処理が正常に実行できない状態
・容量不足の状態でのバックアップ実行 → バックアップ処理が異常終了
・ディスク容量不足の継続 → アプリケーションサーバーが正常起動できない
根本的な要因:
Debugレベルでの長時間稼働により、想定を超える大量のログが出力され、ディスク容量が枯渇したことが根本原因です。2. 対応方法
根本解決方法:
ログレベル変更前のバックアップにリストアすることで、ディスク容量枯渇前の状態に戻すことが可能です。3. 原因究明に至るまでの調査方法
1. 環境へのアクセス不可とバックアップ異常終了の報告受領2. 対象環境のディスク使用量確認
3. ログファイルサイズの詳細調査(system.log: 42GB、JVMログ: 数百MB×複数ファイル)
4. ログレベル変更履歴との照合
5. ディスク容量枯渇が原因であることを特定
6. ログレベル変更前のバックアップにリストアすることを実施
今後の予防策:
・作業開始前のバックアップ取得を推奨します
・Resin JVMログに出力日時を付与する設定により、ログ調査の効率化が可能です:https://cloud.intra-mart.support/hc/ja/articles/37066791494425