2002/05/23

準備万端整えて、絶対落とせないマシン以外落として、停電に備える。停電が始まると同時にフロアの非常灯がついた。ホテルの灯りみたいで、かっこいいかも。UPSで15分持つかなあ、とドキドキしていたら、一分ほどで復旧。なんだよう。かなり肩透かし。もちろんUPSは何のトラブルもなく監視用サーバを維持してくれた。一応5時まで待ってから、他のマシンにも火を入れる。昨日買ってきたRAIDボックスは、とりあえずファイルサーバのCD-ROMを外して代わりにつける。バックアップは数時間かかるから、これから始めても業務開始に間に合わないし、明日の夜だな。6時くらいに帰宅。残っていたミートソースでパスタを作って食べて寝る。

昼ごろ起床。

一昨日あたりから怪しいディスク障害を出していたDL360が、昼過ぎにとうとうサービス停止状態に。ディスクに書き込みができない状態のようで、I上くんにCompaqへ交換の依頼を出してもらう。ところが、技術者が手配できないとかで、結局対応は深夜に及ぶことに。

Linuxのカーネルからは、ディスクI/Oに失敗しているらしいエラーメッセージしか出ず、アレイコントローラ以下に隠されてしまっているために、障害の原因が把握できない。交換作業に来たCompaqの担当者は、物理的にディスクが壊れた場合は、ディスクの破損を示すランプが点灯するはずなので、ディスクは壊れていないはず、と言うけど、本当かなあ。障害切り分けをしている最中にも、ファイルシステムはどんどん壊れていく。/etcのリストも取れなくなったあたりで、完全再インストールを覚悟した。最低だ。ホットスワップのはずなので、怪しい片方のディスクを抜いてみたものの、すでに管理領域まで破損しているらしくて改善されない。いったん電源を落として、もう一方を入れて(先のは抜いて)再起動してみると、ルートパーティションがマウントできずパニックを起こす。どうにもならないので、結局アレイコントローラを入れ替えたところまでで、今夜は作業終了してもらう。

その後、日本橋のサーバのRAID入れ替え準備。40Gほどのsamba用領域を新しいRAIDボックスにバックアップし始める。終わるのは6時間後くらいか、帰って寝よう。