4時頃メールに起こされる。オフィスとデータセンターの間の回線が不安定でエラーが出まくっていた。M口さんにメールしたら対処中という回答。結局明るくなってから回線の問題なのでNTTに連絡するしかないと判明。今日は一日この回線トラブルに振り回される。
昨日に引き続きトラブル連発。忙しくてダブルチェックができていない辺りでバタバタとトラブルが出る。かなりマズイ。
障害が落ち着いたところを見計らって昼ごろ出勤。雨だ。出勤してからもトラブル対応ばかり。再発防止策をすぐに出せ、と言われて新しい監視モジュールを用意する。未知の事例だからどうしようもない。
夕方、客先に障害を謝りに行く。人出不足の問題を指摘された。その通りだけど短期的に解決策がない。S藤さんは連日面接しているんだけど。
障害が起きている回線を物理的に変更するというので、K谷口くんがデータセンターへ。工事は2時間という話だったから許可したのに、現場で工事が終わってから回線の開通は明日の10時になると言い出した。なんだそれ。話が全然違うじゃん。たまたまクリティカルなラインじゃなかったし、ダイアルアップで作業も出来るから了承したけど、まともじゃないな。
夜のチェックはほとんど自動化されているんだけど、障害でいつもの経路が使えないので、監視のためにW-ZERO3でデータセンタにダイアルアップして確認作業。帯域が狭いからイライラする。一応ノートラブルだったけど。
晩御飯はミートソーススパゲッティ。いつも通りにおいしい。
コメントする