統計家で選挙予測者のネイト・シルバー(Nate Silver)は、ほとんどの予測がなぜ外れるのかを説明し、よりよい予測は、確率で考え、新しい証拠で更新し、不確かさに対して謙虚であることから生まれると示します。
概要
『シグナル&ノイズ』(副題は「なぜこれほど多くの予測が外れ、それでも一部は当たるのか」という意味)は、2012年にネイト・シルバーが発表した本です。シルバーは、野球選手の成績を予測するシステムを開発して名を上げ、そのあと政治ブログのFiveThirtyEightで有名になりました。このブログは、2008年のアメリカ大統領選挙で50州のうち49州を的中させ、本の出版の数週間後の2012年には50州すべてを的中させました。本では、2008年の金融危機、天気、地震、経済、病気、チェス、野球、ポーカー、政治、気候、テロなど、多くの分野の予測を見ていきます。なぜ成功する予測と失敗する予測があるのかを問い、ベイズ的な推論にもとづく考え方を示します。例が豊富で、会話のような文体で書かれています。
あらすじ
1. なぜ私たちは失敗するのか:予測の壊滅的な失敗
考え方: シルバーは、2007年から2008年の金融危機から始めます。スタンダード&プアーズ(Standard & Poor’s)のような格付け会社は、ある種の住宅ローン担保証券に最高の安全性の格付けを与え、そのリスクを大きく見くびりました。政府の当局者や経済学者も、住宅バブルをバブルとして見抜けませんでした。シルバーは、測ることのできるリスクと、測りにくい不確実性とを区別し、格付け会社は、新しい、試されていない商品を、リスクがわかっているかのように扱ったと言います。2009年の初めに政府が出した、自信に満ちた経済予測にも、同じ非難を向けます。的当ての絵を使って、予測は正確でなくても精密でありうることを示します。弾がいつも同じ場所に当たるなら、それは一貫していますが、的の中心を外していれば、正確ではありません。予測者は、自分の評判を守るために確実さを装うことがよくありますが、よりよい予測は、不確かさと偏りを認めることから始まる、と彼は言います。
実生活では: 自信たっぷりで正確そうに聞こえる数字は、正しい数字と同じではありません。
2. 評論家、ハリネズミ、キツネ
考え方: シルバーは、フィリップ・テトロックの研究に目を向けます。テトロックは、政治についての専門家の予測の多くが、偶然と変わらないことを見いだしました。テトロックは、思考する人を、少数の大きな考えをどこにでも当てはめるハリネズミと、多くの情報源から学び、新しい情報で考えを変えるキツネに分けました。ハリネズミのほうが成績が悪く、間違いを外的な要因のせいにしがちでしたが、キツネは自分の誤りを認めました。シルバーは、よい予測者の習慣として、確率で考えること、状況に合わせて変えること、いくつもの見方に開かれていることを挙げ、自分もそのようにしようとしていると言います。これを、The McLaughlin Group のようなテレビの評論家と対比させます。彼の見方では、彼らは本当に正確な予測をしようとしているわけではありません。
実生活では: 事実が変わったときに予測を変える人は、決して変えない人より、たいてい信頼できます。
3. 野球とポーカー:モデル、スカウト、プロセス
考え方: シルバーは、Moneyball が有名にした時代の、自分の野球システムPECOTAについて語ります。この種のモデルは、選手の記録を調べ、運や年齢による衰えを調整し、過去の似た選手と比べます。モデルはスカウトに取って代わったわけではない、と彼は論じます。スカウトは、選手の振る舞いのような、数字が見逃すものを見ているからで、最良の予測は両方を使います。例として、PECOTAは高く評価したが、スカウトは疑っていた選手、ダスティン・ペドロイアを挙げます。シルバーは、一時期プロとしてポーカーもしていました。2003年ごろに始まったポーカー・ブームについて、経験の浅い人が大勢いたので、少しうまいだけの人でももうけやすかったと説明します。よいプレーヤーは、相手が何を計算しているかも含めた、条件つきの確率で考えます。短期的には運の役割が大きいので、決断は結果だけでなく、プロセスの質で判断すべきだ、と彼は言います。
実生活では: よいプレーヤーは、結果だけでなく、確率で決断を判断します。
4. 天気:成功物語
考え方: 著者は、天気予報を、主に計算機の高速化によって、この数十年で大きく改善した分野として挙げます。人間の予報士は、特に雨について、コンピューターの出力を修正することで、今も価値を加えています。天気はカオス的なしくみなので、出発データの小さな誤差が、結果では大きな誤差に育つことがありますが、気象学者は、降水確率30パーセントのように確率を示し、その確率が適切に調整されていたかを確かめます。また、予報はよかったのに対応がよくなかったハリケーン・カトリーナについても見ていきます。
実生活では: 「70パーセント」という雨の予報は、10回のうち7回くらい当たるはずです。
5. 地震と経済
考え方: 対照的に、地震は、時間と場所を特定して予測することができません。地震学者は、ある地域で長い期間に地震がどのくらい起こりやすいかは見積もれますが、いつ起こるかは言えません。データにはノイズが多く、しくみがよくわかっていないので、本物ではないパターンを見つけてしまいやすく、この誤りは過剰適合(overfitting)と呼ばれます。シルバーは、日本の福島の原子力発電所での2011年の津波を、過去の大きな出来事の証拠が十分に重く扱われなかった例として挙げます。経済の予測もお粗末だと彼は見ています。その章のタイトルは、1997年のノースダコタ州グランドフォークスの洪水を指していて、そこでは予報の不確かさがはっきり伝えられませんでした。経済は、原因と結果を切り分けにくい複雑なしくみであり、予測者は、相関と因果を混同したり、正確さを犠牲にして評判を守ったりすることがあります。彼は、人々が自分の予測にお金を賭ける予測市場に、見込みがあると考えています。
実生活では: 大勢が当てずっぽうをすれば、いずれ誰かが運で当たりますが、それは腕前の証明にはなりません。
6. 病気とベイズの定理
考え方: 疫学者は、間違いが命にかかわる場で働いているので、シルバーは彼らを慎重さの手本として扱います。彼は、1976年にアメリカ合衆国で起きた豚インフルエンザ騒動を思い起こします。当局が流行を予想し、フォード大統領が性急なワクチン接種計画を支持しましたが、流行は起こりませんでした。予測は、人々がそれに反応するので、自己成就的にも自己打ち消し的にもなりえます。本の中心となる考えは、ベイズ的な考え方です。18世紀の牧師トーマス・ベイズにちなんだもので、あることがどのくらい起こりやすいかについての事前の信念から出発し、新しい証拠が来るたびにそれを更新する、という考え方です。シルバーはこれを、20世紀の統計学を支配したロナルド・フィッシャーの頻度主義的なやり方と対比させ、それが多くの偽陽性の一因になったと論じます。そして、発表された研究にどれだけ欠陥があるかについて、ジョン・イオアニディスを引用します。
実生活では: うわさを聞いたら、それがもともとどのくらいありそうかを考え、さらに知るにつれて調整します。
7. コンピューター、集団、市場
考え方: シルバーは、人間と機械のチェスの対戦の記録を使って、コンピューターはプログラムされたとおりのことを、そのままするのだと論じます。チェスや天気のように、規則がはっきりしていて、速い計算が役立つところでは優れていますが、経済や地震のような雑然としたしくみは苦手で、予測者の盲点は、プログラムにもそのまま写されそうです。株式市場では、独立に出された集団の予測は、個人の予測に勝つ傾向があるが、最良の個人には必ずしも勝たない、と彼は見ています。トレーダーはしばしば群れに従い、短期の成績で評価される機関が、バブルの形成を助けます。価格はいつも正しいと思い込んでいたら、バブルは決して見つけられない、と彼は言います。
実生活では: 同じように考える群衆は、答えを確かめ合う群衆ではありません。
8. 気候、テロ、そして知識の限界
考え方: 気候変動について、シルバーは、温室効果はほぼ確実に存在し、人間の二酸化炭素の排出がそれを増やし、地球はかなりの確率で温暖化すると言います。ただし、その影響はもっと不確かで、気候モデルがどのくらい信頼できるかについては、科学者の意見が分かれています。政治がノイズを加えます。攻撃的な予測の一部はモデルの誤りから、別の一部は政策に影響を与えようとする努力から来るもので、一般の人々は、科学的な不確かさを弱さと受け取りがちです。テロについては、攻撃の前に信号とノイズを見分けることは非常に難しく、人は奇妙なことをありえないことと見なす、と言います。攻撃のパターンはべき乗則に従い、まれで非常に大きな出来事も実際に起こるので、分析者はもっと大きな攻撃を想像し、その兆候を真剣に受け止めるべきだ、と言います。最悪の失敗は、予測をまったくしないことだ、と彼は付け加えます。最後に、人は自分が予測が上手だと思い込む偏りがあること、そして、不確かさに正直で、改める意志をもつベイズ的な方法が、改善の道だと述べて締めくくります。
実生活では: 何が予測を変えうるかを述べる予測者は、より完全な全体像を与えてくれます。
なぜ重要か
『シグナル&ノイズ』は、ニューヨーク・タイムズのベストセラーリストに入り、アマゾンの2012年最優秀ノンフィクションに選ばれ、2013年のファイ・ベータ・カッパ協会の科学書賞を受けました。予測、確率、ベイズ的な考え方への主要な一般向け入門書であり、特に選挙の季節に、統計的な推論を公の議論に取り入れる助けになりました。この本は、謙虚さ、確率、検証の価値を際立たせ、過信とインセンティブが予測をどうゆがめるかを示しました。専門家の判断についてのフィリップ・テトロックの研究を取り入れていて、ビジネス、報道、政治、スポーツなど、どんな種類の予測でも判断しなければならない人にとって、役に立つ読み物です。
要点
- 信号とノイズを切り分ける。 データの中のすべてのパターンが、本物だったり意味があったりするわけではありません。
- 確率で考える。 偽の確実さを避け、どのくらい確かかを言いましょう。
- 新しい証拠で更新する。 ベイズ的な考え方は、見方を少しずつ調整するのに役立ちます。
- 予測を検証する。 天気のように結果を確かめる分野は、時間とともに進歩します。
- 謙虚になる。 特に複雑なしくみについて、知識の限界を知りましょう。
学べること
まず、自分の予測を確率で表し、どのくらいの頻度で当たるかを確かめてみるとよいでしょう。データの中に目を引くパターンを見たら、それが偶然ではないかと問いましょう。結果の責任を負わない評論家の自信たっぷりの予測には、用心しましょう。新しい証拠が入ったら見方を更新しますが、ニュースの一つひとつに過剰に反応するのは避けます。そして、ニュースをもっと批判的に読む助けになる、統計の基本を学びましょう。数字と判断を組み合わせることは、よい習慣です。
批評と異なる見方
気候科学者のマイケル・マンは、この本が、気候の物理科学を、有権者の好みと同じやり方で扱い、彼が主観的で検証できないと呼ぶ仮定に頼っていると批判しました。この本は一般の読者に向けて書かれ、数学の大部分を省いているので、ある好意的な書評者が述べたように、すべての統計的な方法を深く扱うことはできず、ベイズ的な方法にも、事前の信念をどう選ぶかといった、独自の難しさがあります。シルバーのその後の予測も、確率をめぐる議論を呼びました。2016年のモデルは、ドナルド・トランプに約29パーセントの確率を与え、それはほかの主要な予測者より高かったのですが、トランプが勝ちました。その確率の結果は十分にありえることで、この出来事は、確率が予言として読み違えられることがいかに多いかを示しました。それでも、この本の主要なメッセージは広く評価されています。
どんな人に向いているか
データや予測、スポーツ、政治に関心のある読者に向いています。おもしろく、必要な数学はわずかです。統計や確率の厳密な扱いを求める人は、教科書を調べるとよいでしょう。
この要約は、AIの助けを借りて英語から翻訳したものです。
本をまるごと読みたい方へ
要約は味見のようなものです。本そのものを読める場所をご案内します。
最後まで読みました 🎉
おつかれさまでした。この本を「読んだ」にすると、次に読む本をおすすめします。
次に読む本
超予測力
フィリップ・E・テトロック、ダン・ガードナー
政治学者のフィリップ・テトロックとジャーナリストのダン・ガードナーが、ふつうの人の中に専門家より世界の出来事をうまく予測できる人がいることを見いだした研究プロジェクトを報告し、その人たちの優れた習慣を説明します。
🧩 心と心理学確率思考
アニー・デューク
元プロのポーカー選手アニー・デューク(Annie Duke)は、人生の決定は不完全な情報のもとでの賭けだと論じ、決定を結果ではなく質で評価し、確率で考え、正直な仲間と一緒に学ぶ方法を示します。
🧩 心と心理学統計でウソをつく法
ダレル・ハフ
ダレル・ハフ(Darrell Huff)は、広告主やジャーナリストらが使う手口を、軽妙でウィットに富んだ案内で巡りながら、数字やグラフや平均がどう人をだましうるかを示し、読者がごまかしを見抜けるようにします。
🔬 科学マネー・ボール
マイケル・ルイス
マイケル・ルイス(Michael Lewis)が、予算の少ない野球チームのオークランド・アスレチックスが、統計を使って見過ごされていた選手を見つけ、お金持ちのチームと渡り合った経緯と、それが才能についての古い思い込みにどう異議を唱えたかを語る本です。
💼 ビジネス世紀の空売り
マイケル・ルイス
マイケル・ルイス(Michael Lewis)は、2008年の金融危機の前に、アメリカの住宅ブームがバブルだと見抜いて、それに逆らう賭けをし、金融システムが自分のリスクをいかに深く見誤っていたかを知った、少数の風変わりな投資家たちを追います。
💼 ビジネスホーキング、宇宙を語る
スティーヴン・ホーキング
世界でもっとも偉大な物理学者の一人が、ほとんど数式を使わずに、ビッグバンからブラックホール、時間そのものの正体まで、宇宙の始まりと構造と運命について、わかっていることを説明します。
🔬 科学ほかの本も見てみますか?
別のトピックを選ぶと、最初の3冊をご紹介します。