( 2012.06.26 )
ファーストサーバ障害、
  深刻化する大規模 「データ消失」

      ヤフー子会社、クラウド時代の盲点を露呈( ネット事件簿 )

 クラウドに預けていたデータが、 「雲」 が消えるかのごとく消失してしまった。 20日17時頃、 レンタルサーバー会社のファーストサーバ( 大阪市 )で起きた 「データ消失」 事故 その深刻な状況が日を追うごとに明らかになってきている。 被害にあった顧客件数は5698件で、 ほとんどが復旧不可能な状態 ウェブサイトやメールに加え、 顧客情報やスケジュールなど多種多様なデータが失われ、 業務が止まった企業からは悲痛な叫びが聞こえてくる。 いったい何が起きているのか。

 「データの消失があった5698件のお客様のうち、数百件を除く共有サーバーのデータは、残念ながらデータの復旧自体が不可能ということが分かりました。 本当に申し訳なく思っております」 ――


長野電鉄のホームページ。26日午前時点で完全復旧に至っていない
 ファーストサーバ社長室の村竹昌人室長は、混乱の続く25日夜、こう語った。 5万以上の顧客を抱え、うち8割が法人・官公庁関連というファーストサーバの大規模障害は、依然として被害の全容がつかめないままでいる。

 小林製薬、109シネマズ、長野電鉄、カルディコーヒーファーム、海遊館、兵庫ひまわり信用組合、薬事日報、日本新聞協会、東京都卓球連盟、静岡産業大学、大津市市民活動センター、太陽光発電協会 ……。

 数多くのウェブサイトが突然ダウンしたのは、20日夕方のこと。 共通点は、ウェブサーバーの運用をファーストサーバに任せていたことだった。 ファーストサーバの作業ミスをきっかけに、同社が運用していたサーバー内のデータがドミノ倒しのように消えてしまった。




 23日、ファーストサーバは複数の顧客で共有するタイプのレンタルサーバーサービスに関し、 「データ復旧を行うことは不可能と判断した」 と公表。 顧客には 「お客様で取得されておられるバックアップデータによる再構築を行っていただきますようお願い申し上げます」 と呼びかけた。

 共有型ではない専用サーバーサービスについては、当初、データ復旧ソフトにより一部、回復できたとし、顧客にデータを引き渡していた。 しかし、ある顧客企業から 「社内の他人のメールが読めてしまう」 と報告があり、確認したところ、復旧データに欠損があることが判明。 22日夜、すべての復旧データの提供をとりやめた。

 そのため、障害の影響が及んだ約5700の顧客すべてが、26日現在も 「自力」 でウェブサイトを再構築するなどの作業を強いられている。 幸いにして手元にバックアップデータがあった顧客は、22日18時頃から再構築することが可能となり、順次、復旧している。

 「熱さまシート」 「あせワキパット」 など28のブランドサイトや携帯向けサイトをファーストサーバで運用していた小林製薬は、22日中にすべてのサイトを復旧させた。 「企業サイトや通販サイトは別の場所で運用しており、ファーストサーバで運用していたのは単純な情報提供サイトのみ。 加えて自社にバックアップデータもあったので比較的早期に復旧できた」 ( 広報 )

 ただ、被害企業・団体のうち完全に復旧できたのは一部。 多くは、26日現在も一部が復旧できていないか、そのメドすらたっていない。

 長野電鉄は多くのコンテンツのバックアップデータを持ち合わせていたが、 「お客様からの声」 や 「ボランティアツアー申し込み」 など投稿フォームから得た一部データが消失したままの可能性があるという。 「投稿フォーム機能の再設定に手間取っており、遅くとも今週中には完全に復旧させたい」 ( 事業推進課 )とする。

 社団法人 日本ロボット学会は、約2週間前にウェブサイトをリニューアルしたばかり。 リニューアル時のデータが残っており、懸命にデータを転送しているが、25日夜時点での復旧率は約20%。 2週間のあいだに更新した論文などのデータは消失しており、会員に再提出を促す。 ロボット学会はメールシステムもファーストサーバで運用。 障害発生時からメールシステムの復旧までに届いたメールが消えている可能性があるため、仮運用のホームページで再送を呼びかけた。

 「二度と戻って来ないデータが多いわけではないが、金額的な被害は大きい。 今回のミスは、ウェブサーバー屋のやる失敗ではなく、あり得ない。 まずはファーストサーバの環境で一刻も早く復旧させることを優先するが、すぐに他社に乗り換える予定」。 担当者はこう憤る。




 これらは被害企業・団体の中でも、比較的、体制が整っており、被害が軽微な部類に入るとみられる。 約5700のうち大半が中堅・中小規模の事業者。 復旧のメドがたたない企業・団体も数多く、ファーストサーバですら被害実態を把握できていない。

 顧客は、ウェブサイト以外にもファーストサーバでさまざまなシステムを運用していた。 代表格がメール。顧客企業がパソコンにダウンロードしていたり、 「Gmail」 などの外部メールサービスに転送していた場合は難を逃れたが、そうではないサーバー上のメールは消失した。 事業に直結するシステムやデータの消失で、日常業務に支障をきたしている企業もある。

ウェブ上での予約ができない LOFT PROJECT は逆手にとったイベントを企画

 「新宿LOFT」 など都内でライブハウスを展開する LOFT PROJECT では、各店舗のホームページは一部を除いて復旧したものの、ウェブサイト上での予約業務ができない状態が続いている。 障害を逆手にとり、 「ファーストサーバ データ消失オフ」 というイベントを7月14日に開催することを決めた。 イベント案内には、こうある。
「我々ロフトグループも本稿執筆時( 6月末日 )にはまだまだ死線をさまよっている最中でございます。 と、そんな阿鼻叫喚あびきょうかんのハンバーガーヒルを駆け抜けたサーバ管理者の皆様! ここはひとつ、いまだ癒えぬ生傷を握りしめ、酒を酌み交わそうではありませんか!」
 被害企業として途方に暮れている様子が伝わってくるような文言だが、笑い飛ばせるだけ、まだマシだ。




 ある素材のネット通販を手がけていた都内事業者は、通販サイトのみならず、この数年間に蓄積した顧客情報など一切のデータを失った。 それらのデータはすべてファーストサーバで管理しており、バックアップはない。 ウェブサイトはゼロから構築し直す予定で、2~3週間はかかるという。 この事業者は 「担当者がかわいそうだから」 と、匿名を条件にこう話す。
「ダウン直前まで途切れることなく入ってきた注文を考えると、かなりの損害になる。 万単位の顧客データもゼロスタートになり、正直途方に暮れています。 言いたいことは、 『元に戻してほしい』 ですかね。 言ってもしょうがないですが。 大事なお客様とのつながりが断たれてしまい、信用を失ったことが何よりショックです」
 さらに深刻な事態が、 「サイボウズ」 というグループウェアの利用企業に想定される。




 ファーストサーバは月々の利用料金だけで手軽にサイボウズを利用できる 「サイボウズ Office9 for ASP」 のパートナー企業。 加えて、顧客企業が購入したパッケージ版のサイボウズを運用するサーバーとしても数百社に貸していた。 このうち、メール、スケジュール、顧客管理、営業記録など、約400社のサイボウズのデータを丸ごと消失させてしまった。

 ネット上の掲示板には 「顧客データもサイボウズに入れてたから、電話来ても誰が誰だかわかんないし何も答えられないし、サーバが落ちててって言い訳もできないし、会社自体が記憶喪失になったみたい」 「たぶん明日は段ボールから顧客との契約書原本取り出して、電話取りながらあいうえお順に並べる作業から一日が始まります」 といった書き込みがなされている。

 真偽は不明だが 「困っていらっしゃるお客様から、20日から25日まで累計200件ほどの問い合わせがあった」 ( サイボウズ広報 )。 ファーストサーバは 「サイボウズのASPを利用していた149社のほとんどが、恐らくバックアップをとっていないと思われる。 実際にどれだけのお客様が自力でデータを復旧できない状況にあるのか、実態は把握できていない」 とする。

 顧客情報は企業にとって事業の根幹ともいうべき資産。 そのバックアップを自社で管理していなかったのは 「自己責任」 という声もある。 ただ、クラウドサービスは企業情報システムに投資できない、あるいはIT( 情報技術 )に疎い事業者が手軽に活用できるサービスとして普及した。

 前出のネット通販事業者は 「こちらにも甘さがあったと思います」 としながら、 「『 稼働率100% 』 とうたわれていたので信用していた」 と話す。 サイボウズについても、ファーストサーバのASPサービスの説明資料で、 「データのバックアップ」 「リストア( 復元 )」 について、 「お客様作業不要」 と明記している。 一概に、被害企業を責めることはできない。

 では、 「稼働率100%」 「バックアップ不要」 のサービスがなぜ ……。 皮肉にも、障害の原因となった作業は、セキュリティーを高めるためのものだった。




 ファーストサーバによると今回、脆弱性対策のために更新プログラムを作り、いつものようにプログラムを走らせた。 ところが、その更新プログラム自体に大きなバグ( 不具合 )があった。 「ファイル削除コマンド」 を停止させる記述漏れと、メンテナンスの対象となるサーバー群を指定する記述漏れがあったというのだ。

 そのバグに気づかないまま、本番環境のサーバーで更新プログラムを起動。 だが更新プログラムは、対象外のサーバーでファイル削除コマンドを実行し、次々とデータを消去していった。 この範囲が、顧客件数5万件のうち約5700件に及んだ。 不幸はここで終わらない。

 通常なら、バックアップデータから元のデータを復元することで一両日中にウェブサイトなどは復旧する。 バックアップデータは、本番環境とは違うサーバー、あるいは外部記憶装置に定期的にとっておくことが基本だ。 ところがファーストサーバでは事情が違った。

 ファーストサーバにおけるセキュリティ対策では、3つのHDDに同じファイルをコピーしていた。 1つは 「本番系」。 もう1つは本番系のHDDやシステムに不具合が生じた時、即座に切り替え、正常稼働を続けるための 「待機系」。 もう1つが、毎朝6時に本番系のデータを丸ごとコピーしておく 「バックアップ系」 だ。 この3つが、すべて同じサーバー内に同居していた。

 あろうことか、ファイルを削除してしまう更新プログラムのバグは、本番系、待機系に加え、同じサーバー内にあるバックアップ系のHDDまでをも消去するという代物だった。




 なぜ、外部にバックアップをとっておかなかったのか。 ネット上では技術者を中心に、この点が指弾された。 これについてファーストサーバの村竹室長は、こう話す。 「おっしゃっているような一般的なバックアップというのは、我々のような低価格の料金で提供するのは難しい。 サーバー内の別のディスクでとることを、我々はバックアップと考えています」

 ファーストサーバの主力であり、複数の顧客企業でサーバーを共有するサービス 「ビズ2」 の料金体系は、月額1890円からと低価格が売り。 データ容量が180ギガバイト( GB )と大きいプランでも月額5250円。 そのツケが、業者側でのデータ完全消失だった。 バックアップの構造は、共有サーバーより高価な、専用サーバーサービスでも同じだ。

 こちらは、前述のようにデータ復旧ソフトによる作業で一部データが復旧したようだが、今後、復旧が進んでも 「データの精度や量は相当部分的なものにとどまる」 との見通し。 引き渡しまで数カ月以上要すると見込んでおり、当てにできそうにない。

 同種のトラブルとしては国内最大級に発展しそうな大規模データ消失。 今となってはバックアップがない企業・団体は泣き寝入りするしかなく、損害賠償も多くを見込めそうにない。




 ファーストサーバは25日朝に公開した質疑応答集( FAQ )の中で、損害賠償についてこう明記した。 「サービス利用契約約款に基づいて、お客様にサービスの対価としてお支払いいただいた総額を限度額として、損害賠償させていただきます」

 約款には 「利用者がバックアップを怠ったことで受けた損害についてファーストサーバは何ら責任を負わない」 という免責条項がある。 だが、今回は 「当社に故意または重過失が存する場合」 として適用せず、上記の 「賠償制限規定」 に基づいて個別対応するという方針だ。

 内田・鮫島法律事務所の伊藤雅浩弁護士は、 「ファーストサーバに限らず、レンタルサーバー事業者は二重三重の防御線を敷いているので、データ消失による補償を約款以上に求めることはなかなか難しい」 と指摘する。

 ただし、サービスの説明や宣伝に 「優良誤認」 があった場合はどうなのだろうか。 ファーストサーバは取材で、事実と異なる説明があったことを認めた。

 ファーストサーバの主力サービスであるビズ2・シリーズのパンフレットに、こうある。 「ファーストサーバは、これまで以上に安心してレンタルサーバーサービスをご利用いただくために品質保証制度( SLA )を設け、稼働率100%を保証した高いビジネス品質のサービスでお客様のビジネスを支えます」

 これは、本番系と同時にリアルタイムで待機系を動かし、サーバーを止めることなく稼働させる仕組みをうたっている。 「100%」 は実現できなかったが、もう1カ所の記述が事実であれば、少なくとも消失は防げたはずだった。




 ファーストサーバによる 「ビズ2」 のパンフレット。 「日に1回、外部にデータを保存」 との記述は事実でなかった。

 「さらに人為的なデータ損失があった場合にそなえ、日に1回、外部サーバーにデータを保存していますので、お客様によるデータの誤消去があった場合にも、前日の状態に戻すことが可能です」 ――。

 今回はファーストサーバによる 「人為的な誤消去」。 しかし実際は、バックアップは 「外部サーバー」 ではなく、 「同一のサーバー内の別ディスク」 にあり、完全なデータ消失に至ってしまった。 この点についてファーストサーバの村竹室長は 「数年前までは記述の通りだったが、現在は説明の通り異なる。 記述ミスで、修正をせずにいた可能性がある」 と語った。

 約款をよく理解せず、こうしたうたい文句を信じてバックアップをとらなかった顧客がバカを見たのか。 それとも優良誤認に該当するのか。 議論の余地がありそうだ。 伊藤弁護士は 「悪い事情は、裁判でそれなりに考慮される可能性もある。 相手に重過失があり、多大な損害を被った場合、責任限定に関係なく争う余地はある」 とする。




 もっともファーストサーバにとっても今回の事故は不運な出来事。 想定外の事態に見舞われ、社員は寝ずの対応に追われている。 中小企業であれば、つぶれてしまいかねない。 ただ、親会社はネットサービス国内最大手のヤフー。 ファーストサーバ社長はヤフー子会社の大手データセンター、IDCフロンティア取締役の磯部眞人氏であり、ファーストサーバ役員にはヤフー幹部が3人もいる。

 「人員の派遣、お客様対応、技術的な協力を含め、事態の収束に向けて全面的にヤフーが支援している」 ( ヤフー広報 )といい、ファーストサーバにとってはヤフー子会社であったことが不幸中の幸い。 ヤフーの2012年3月期の業績は、売上高が3020億円、純利益が1005億円と盤石なことを考慮すると、逆に損害賠償の請求額が高くなる可能性もある。

 IT部門のコスト削減圧力に加え、東日本大震災を機に注目された 「事業継続性」 から、クラウドサービスへの関心はますます高まっている。 そんな中で起きたデータ消失事故は、クラウド時代の盲点を浮き彫りにした。 そして、いまだに被害の全貌や実態は見えていない。





( 2012.06.25 )



 ヤフー子会社でレンタルサーバー事業を営むファーストサーバ( 大阪市 )のサービスにおいて、2012年6月20日にデータ消失を伴う大規模障害が発生した。 同社は6月25日午前、ウェブサイトで 「大規模障害の概要と原因について( 中間報告 )」 と 「大規模障害に関するFAQ」 という文書を公開した。


ファーストサーバのホームページに掲示されている
障害原因を説明する文書
 これらの発表文書によると、障害が発生したのはファーストサーバのサービスのうち、 「ビズ / ビズ2 / エントリービズ / エンタープライズ3 / EC-CUBEクラウドサーバ マネージドクラウド」 を利用していた顧客の一部である。 障害が発生した顧客のデータは、システム領域のサーバー設定情報やデータベースの情報なども含めたデータが消失した。 ファーストサーバは専門業者にデータ復旧を依頼したものの、復旧不可能と判断したという。

 これにより、サーバーを復旧する顧客は、サーバーを最初から再設定して、顧客が手元のパソコンなどに保存しているバックアップデータからデータを復旧することになる。 手元のパソコンなどにバックアップデータを持たない顧客に対しては、 「お客様にて新しくコンテンツを作成いただくこととなります」 と案内している。


原因は更新プログラムのバグと運用の不備

 ファーストサーバの発表文書では、障害発生の原因について、 「( 脆弱性対策のための )更新プログラム自体に不具合があったことに加えて、検証環境下での確認による防止機能が十分に働かなかったことと、メンテナンス時のバックアップ仕様の変更が重なり、今回のデータの消失が発生した」 と説明している。

 具体的には、今回の障害前に作成した更新プログラムに 「ファイル削除コマンドを停止させるための記述漏れ」 というバグがあった。 この更新プログラムを検証環境で実行するという手順を踏んだにもかかわらず、バグに気づかないまま本番環境で実行された。 この結果、意図しないファイル削除が実行されてしまいデータが消失した。

 一般にはこの時点でも、定時バックアップを取得してさえいれば、最新のデータは消失するものの、一定のデータは復旧できるはずだ。 実際に、ファーストサーバでも毎朝6時にバックアップを取得していた。

 ところが、ファーストサーバではバックアップ領域にも更新プログラムを同時適用するという運用がなされており、バグのある更新プログラムによって、バックアップ領域でもファイル削除が実行されてしまったという。


支払額を上限に損害賠償

 ファーストサーバはデータ消失の責任を認めており、 「サービス利用契約約款に基づいて、お客様にサービスの対価としてお支払いただいた総額を限度額として、損害賠償させていただきます」 としている。 一方で、顧客企業のホームページや通販サイトにアクセスできないことなどによる機会損失については、 「損害賠償の対象とさせていただく予定はございません」 としている。


~~~~~~~~~~~~~~~~~~~~~~~~~~~