データベース障害による一部登録情報消失のご報告とお詫び

いつも mocri をご利用いただきまして、誠にありがとうございます。

2020年6月5日 22時50分頃より発生し、2020年6月11日 10時45分頃に復旧しました障害（以下、本障害といいます）により、一部のご利用者様におきまして、「一部プロフィール情報の消失」または「登録情報全体の消失」が発生し、復旧不可能であることが判明致しました。

本障害の詳細等について、下記のとおりご報告致します。本障害により多大なるご不便とご迷惑をお掛けしますこと、深くお詫び申し上げます。

 

◆本障害の影響を受けるご利用者様

※以下の「ログアウト」には、端末の初期化や、機種変更時にアプリのログイン情報を引き継いでいない場合も含まれます。

  1. Twitter 連携をされているか、または Apple ID でご登録いただいている場合で、本障害発生後にログアウトまたはアプリ削除をされた方
  2. Twitter 連携をされているか、または Apple ID でご登録いただいている場合で、かつメールアドレスとパスワードも登録されていて、本障害発生後にログアウトまたはアプリ削除のどちらもされていない方
  3. mocri へメールアドレスでご登録いただき、その後追加で Twitter 連携をされていない方で、本障害発生後にログアウトまたはアプリ削除のどちらもされていない方
  4. mocri へメールアドレスでご登録いただき、その後追加で Twitter 連携をされていない方で、本障害発生後にログアウトまたはアプリ削除をされた方

 

◆影響の内容詳細

「本障害の影響を受けるご利用者様」の 1. に該当する方

mocri ご登録時にご入力いただいたプロフィール情報のうち、以下の情報が消失致しました。

  • 名前
  • ID
  • 自己紹介
  • メールアドレスとパスワード（もしご登録されていた場合）

つきましては、バージョン 3.3.5 以降のアプリにて Twitter 連携または Apple ID にてログイン時に、消失したプロフィール情報の再入力が必要となります。

 

「本障害の影響を受けるご利用者様」の 2. または 3. に該当する方

メールアドレスは復旧されているものの、メール認証状態とご登録いただいたパスワードが消失しております。

つきましては、バージョン 3.3.5 以降のアプリにアップデートいただき、認証メールの再送とパスワードの再入力が必要となります。

 

「本障害の影響を受けるご利用者様」の 4. に該当する方

誠に申し訳ございません。登録情報全体が消失し、復旧不可能となりました。大変お手数ですが再度新規登録をして頂く必要がございます。ご不便をお掛けし誠に申し訳御座いませんが、何卒宜しくお願い致します。

 

◆本障害の原因

利用している AWS のデータベースサービスである RDS (MariaDB) の不具合によるものです。一定の条件下でデータベースに対してスキーマ更新作業をすると障害潜在状態となり、その後データベースの再起動等で障害が実際に発現する不具合となります。

本障害におきましては、2020年5月1日に実施したデータベースへのスキーマ更新作業により障害潜在状態となり、その後 2020年6月5日に発生したサーバ高負荷対応時のデータベース再起動により、実際に発現致しました。

参考: Table cannot be loaded after instant ADD/DROP COLUMN

 

◆データ復旧可能性について

バックアップ（RDSのスナップショット）から復旧を試みましたが、データベースへのスキーマ更新作業を実施した2020年5月1日以降はすべて「本障害の原因」に記載した障害潜在状態であり、またRDSのスナップショットは復旧時にデータベース再起動が行われるため結果的にデータ破損する状態が再現される形となり、バックアップからですら復旧不可でありました。AWS サポートセンターの皆様にも大変ご尽力頂きましたが、止む無く復旧不可能との結論に至りました。

 

◆再発防止策について

データベース管理システムの変更

本障害の原因となった不具合が解消されたバージョンの MariaDB を RDS で利用することができず、今後も同様の障害が再発する可能性があるため、同様の不具合が確認されていない MySQL へとデータベース管理システムを変更しました。 

論理的な破損への対策

本障害はデータベースサーバの物理的な障害ではなく、データベース自体の不具合により論理的にデータが破損してしまった状態であります。通常のバックアップは物理的な障害への対策としては適するものの、本障害のような論理的な破損への対策とはなりませんでした。以後、本障害のような論理的な破損への対策として、定期的にデータ自体を呼び出し保存するような仕組みを検討しております。本障害の事態を重く受け止め、今後このような事態が再発せぬよう、サービスの運営に努めてまいります。

 

この度は、ご利用者様に多大なるご不便・ご迷惑をお掛けしますこと、重ねてお詫び申し上げます。

 

関連記事