シグナル＆ノイズ　天才データアナリストの「予測学」

壊滅的な予測の失敗

　ビッグデータ ―― 時代の先端を行く言葉だ。IBMの試算によれば、私たちは1日に250京バイトのデータを生み出しているらしい。

　幾何級数的に急増する情報を見て、全てを解決する万能薬だという人もいる。ワイアード誌のクリス・アンダーソンは、2008年に、「莫大なデータがあれば理論が不要になるだけではなく、科学的な方法論もいらなくなる」と述べた。

　しかし私は、そのような見方に対しては反論したい。多くのデータを求める前に、自分たち自身を見つめる必要がある。

哀れな人々の最悪の予測

　リーマン・ブラザーズの経営破綻に端を発した金融危機。これは判断の失敗によるものだった。壊滅的な予測の失敗が、あらゆる場所のあらゆる人々を巻き込みながら広まっていったのだ。

　格付会社は、通常は世界で最も支払い能力の高い政府や優良企業のみに与えていたトリプルAを、CDO（債務担保証券）―― 多数の住宅ローン債権を集め、複雑に組み合わせて設計したデリバティブ商品 ―― に気前よく割り当てた。

　例えば、大手格付会社のスタンダード・アンド・プアーズ（S&P）があるCDOにトリプルAを与えた時、それが向こう5年間に支払い不能となる確率はわずか0.12％であった。

　だが実際には、トリプルAと格付けされたCDOの28％がデフォルト（債務不履行）している。すなわち、CDOの実際のデフォルト率はS&Pが予測した率の200倍以上ということだ。

　これは予測の中でも、完璧な失敗といっていい。

アウト・オブ・サンプル ―― 予測の失敗の方程式

　こうした予測の失敗には共通点がある。

　一言でいえば、予測をする時に検討した情報が「アウト・オブ・サンプル」だったのである。

　この現象を、簡単な例で説明すると ――