シロクマ、バカンス中にサーバーが落ちた話

6月のある日曜、私は海辺のデッキチェアでメロンソーダを飲んでいました。手元のスマホが震えます。「お客様サイト、応答なし」。

何が起きたか

原因はディスク容量。ログローテーションの設定漏れで、半年分のアクセスログがディスクを食いつぶしていました。地味です。地味な原因ほど、休日に来ます。

やったこと(その日)

スマホからSSHして古いログを削除、サービス再起動。復旧まで18分。その後もう一杯メロンソーダを飲みました。

やったこと(その後)

• ディスク使用率 80% でアラート、90% で自動クリーンアップ
• ヘルスチェック失敗時のサービス自動再起動
• 「タコ」に一次対応の手順書を渡し、当番制に

学んだこと

バカンスを守るのは、根性ではなく仕組み。監視と自動復旧を整えてからは、デッキチェアの上でスマホを見なくなりました。

休める仕組みを作ることも、開発の仕事。