ログローテーションの設計ミス:ディスクフルでDBを道連れにするlogrotateの落とし穴

Tech & Logic
スポンサーリンク

ある平日の早朝、突如として監視ツールから緊急アラートが雪崩のように押し寄せる。

Webサイトは500エラーを吐き、APIは全滅。慌てて踏み台サーバ経由で本番環境へSSHログインを試みるが、プロンプトの応答すら極端に重い。なんとかコンソールに潜り込み、震える手で df -h を叩いた瞬間にエンジニアが目にするのは、ルートパーティションの使用率「100%」、空き容量「0バイト」という絶望の数字だ。

データベース(MySQLやPostgreSQL)は、トランザクションログや一時テーブルをディスクに書き込めなくなった瞬間に安全停止(クラッシュ)し、プロセスは死亡。WebサーバもセッションファイルやPIDファイルを生成できずに連鎖して息絶える。

「DBのデータ領域がパンクしたのか?」と調査を進めても、実データはディスク容量の数割にも満たない。

犯人は、同じパーティションの片隅で、誰にも気づかれずに毎日数ギガバイトずつ肥大化を続け、ある日ついにディスクの息の根を止めた「アプリケーションの生ログ」だ。

インフラを構築した人間と、コードを書いた人間が互いに責任を押し付け合い、ログの出口戦略を放棄したシステムの末路がこれだ。ログローテーションを「Linuxに最初から入っているlogrotateが勝手にやってくれるおまけ機能」程度に舐めてかかっていると、最も残酷なタイミングでシステム全体を道連れにする。

開発環境のノリを本番へ持ち込むな:DEBUGログ垂れ流しの惨劇

ログによる自爆事故の多くは、技術の高度な失敗ではない。「開発環境の設定ファイルを、そのまま本番環境へコピペしてデプロイした」という、極めて初歩的で恥ずべき手抜きから始まる。

ローカルや開発環境では、デバッグの利便性を優先してログレベルを DEBUG や TRACE に設定するのが普通だ。発行された全SQL文のクエリログ、外部APIとの通信内容、巨大なJSONリクエスト、果てはオブジェクトのダンプまで、すべてをログファイルやコンソールに垂れ流す。開発者数名が検証でリクエストを数回投げる程度なら、ファイルサイズはせいぜい数百メガバイトで済むからだ。

だが、それをそのまま実トラフィックが飛び交う本番環境に放り込んだらどうなるか。

毎秒数百、数千のアクセスが押し寄せる商用環境において、1リクエストごとに数十行のSQLとスタックトレースがディスクに書き込まれ続ける。ディスクのI/Oはログ書き込みのためだけに激しく消費され、アプリのレスポンスは目に見えて悪化し、ログファイルは数時間で10GB、20GBへと風船のように膨張していく。

本来、本番環境で出すべきログは原則として INFO、あるいは異常を検知するための WARN や ERROR のみだ。

開発者は「フレームワークのデフォルトだから」と言い訳し、インフラ担当者は「アプリ側の設定だから知らない」と目を逸らす。本番用の設定ファイル(.env や application.yml)でログレベルを1行切り替えるという、小学生でもできる最低限の規律すら守れない現場が、自らの手でサーバの首を絞めているのだ。

ログ出力場所が散乱する地獄:誰も把握していない「時限爆弾」

もう一つの致命的なやらかしが、「ログの出力ディレクトリを統一せず、システム全体でバラバラに散乱させる」ことだ。

長年ツギハギで運用されてきたレガシーなサーバや、複数の受託会社が入れ替わり立ち替わりコードを突っ込んできたシステムを開くと、ログの吐き出し先はまさにカオスと化している。

  • OSの基本ログやWebサーバ(Nginx / Apache)は /var/log/ 配下
  • メインのWebアプリケーションは /var/www/html/storage/logs/
  • 夜間に走るバッチ処理は、作成者が勝手に作った /home/batch-user/scripts/log/
  • 外部連携用のサブシステムは /opt/app/logs/

このようにログの出力先が分散していると、何が起きるか。「一部のディレクトリだけがlogrotateの監視対象から完全に漏れる」のだ。

インフラ担当者は「/var/log 配下にはlogrotateを設定してあるから大丈夫」と胸を張る。しかし、アプリ開発者が独自のパスに吐き出させたcronバッチのログは、誰の管理下にも置かれていない。

数ヶ月、あるいは数年の間、誰にもローテーションされず、圧縮もされず、ただひたすら追記され続けた単一のログファイルが、ある日ついに80GBに達してディスクを食い尽くす。

「そのログファイル、誰が設定したの?」「前任者が書いたスクリプトなので分かりません」。

障害発生の現場で飛び交うこの無様な会話こそ、ログの統率を怠った組織への当然の報いである。ログの出力先は一箇所に集約するか、最低でもサーバ上に存在する全ログパスのリストをインフラとアプリの間で握り合っていなければならない。

「3ヶ月保持・5年保存」という教科書通りの思考停止を疑え

ログ設計の打ち合わせをすると、大半のコンサルや経験の浅い情シスが判で押したように口にする呪文がある。

「一般的には、直近3ヶ月分をサーバローカルに保持し、それ以降はS3などの外部ストレージに5年間アーカイブ保存するのがベストプラクティスです」

この言葉を聞くたびに、私は聞き返すことにしている。「過去5年分の生ログファイルを、実際に取り出して障害調査や監査で役に立てた経験が一度でもあるのか?」と。

もちろん、金融系や個人情報保護法、PCI DSSなどの業界ガイドラインによって、法的に厳格な監査証跡の保存が義務付けられているケースはある。それは法律に従って保存すればいい。

問題なのは、そうした法的義務もコンプライアンス要件も存在しない一般的なWebサービスや社内システムにおいて、「一般的には」という言葉を隠れ蓑にして思考停止することだ。

  • 生ログの長期保管はコストの無駄遣い:圧縮したとはいえ、数年前のアクセスログやアプリログをクラウドストレージにテラバイト単位で溜め込めば、毎月無駄な保管コストが口座から引き落とされ続ける。
  • 電子ゴミの山:5年前の生ログをいざ調査しようとしても、当時のシステムのログフォーマットの仕様書は散逸し、パースするためのスクリプトも動かず、結局誰も解析できないただの「電子ゴミ」になっていることが大半だ。
  • 本当に必要な期間の切り分け:障害調査で実際に現場が死に物狂いで漁るのは「直近24時間〜せいぜい2週間」のログだ。傾向分析やマーケティングデータが必要なら、生ログをそのまま放置するのではなく、集計基盤に日次で吸い上げてメトリクス化しておけば済む話だ。

教科書通りのルールを押し付けるのは素人の仕事だ。「このログは誰が、どんな事故が起きた時に、どうやって確認するのか」「もし半年後にデータ開示を求められたとして、会社として本当に生ログが必要なのか」。

顧客やビジネスの責任者と膝を突き合わせ、リスクと保管コストの天秤を正直に説明した上で、その企業に本当に即した「身の丈に合った保持期間」を合意形成する。それこそが、現場を知るエンジニアが果たすべき設計の責任だ。

logrotateの落とし穴:設定を書いただけで動いた気になるな

ログローテーションを正しく機能させるには、Linuxの logrotate の挙動を正確に理解していなければならない。設定ファイルを /etc/logrotate.d/ に置いただけで満足し、本番で事故を起こすケースが後を絶たない。

  • 権限(パーミッション)の罠:ローテーション後に新しく作成されるログファイルの所有者(owner)と権限(create 0644 app-user app-group)が正しく指定されていないため、翌朝アプリがログファイルに書き込めなくなってエラーを吐き散らす。
  • プロセスがファイルを掴み続ける問題:ログファイルをリネーム(ローテーション)しても、Webサーバやアプリケーションのプロセスが古いファイルディスクリプタを掴んだままの場合がある。その結果、見かけ上は別名になった巨大ファイルに書き込みが継続され、ディスク容量が一切解放されない。
  • copytruncateの副作用:アプリを再起動せずにログを切り詰める copytruncate は便利だが、コピーから切り詰めまでのミリ秒の間に書き込まれたログが消失するリスクがある。クリティカルなトランザクションログに安易に使うべきではない。

設定を書いたら、必ず手動で logrotate -d(ドライラン)で構文と対象ファイルを確認し、さらには強制実行(logrotate -f)をかけて、ローテーション後に意図した通りの権限で新しいファイルが作られ、アプリの書き込みが途切れないかを本番稼働前にテストする。ここまでやって初めて、ローテーション設定は完成したと言える。

ログは「垂れ流すもの」ではなく「計算して管理するもの」

システムを稼働させている以上、ログは呼吸と同じように吐き出され続ける。だからこそ、ログは自然現象ではなく、容量・I/O負荷・保管コストを精密に計算して管理すべきリソースなのだ。

  1. アプリ側で開発用と本番用のログ設定を厳密に分離する。
  2. ログ出力先を分散させず、すべて監視とローテーションの統制下に置く。
  3. 世間の「5年保存」を盲信せず、ビジネスと顧客の実態に合わせた現実的な保持ポリシーを合意する。
  4. logrotateの挙動を深く理解し、ディスク使用率が80%を超えたら即座に鳴るアラートを仕込む。

「とりあえずログを出しておけばエンジニアの仕事は終わり」という甘えを捨てろ。ディスク容量を計算し、出口まで設計し切って初めて、ログはシステムを死から救う武器になるのだ。

タイトルとURLをコピーしました