深夜の rm -rf — GitLab 本番データベース削除事故
📰
実在した障害GitLab（2017-01-31）：本番データベース約300GBのほぼ全てが失われ、複数のバックアップ機構がいずれも機能していなかった。最終的に約6時間前のLVMスナップショットから復旧し、約6時間分のデータを喪失した。
状況
深夜。あなたはデータベースのオンコール担当だ。スパム由来の高負荷でレプリケーションが大きく遅延し、セカンダリ(db2)の再同期が何度やり直しても失敗する。目の前にはプライマリ(db1)とセカンダリ(db2)、両方にログインしたターミナルが並んでいる。眠気と疲労の中で、この夜はまだ終わらない。
🔒
この続きは完全版で全3幕・10ステップの対話形式リプレイ。公開ポストモーテムを教材用に再構成した、実在障害の追体験です。
公開ポストモーテム・公式報告の事実のみ参照。文章・手順は教材用に簡略化したオリジナルの再構成です。