精准预测:如何从巨量杂讯中,看出重要的讯息

原书名:The Signal and the Noise

13 岁以上阅读约 9 分钟统计学预测社会科学
获取这本书 ↓

统计学家兼选举预测者内特·西尔弗(Nate Silver)解释了为什么大多数预测会失败,并指出,更好的预测来自用概率来思考、随新证据不断更新判断,以及对不确定性保持谦逊。

简介

《精准预测:如何从巨量杂讯中,看出重要的讯息》(副标题的意思是:为什么这么多预测会失败,而有些却不会)出版于2012年,作者内特·西尔弗先是靠自己开发的一套预测棒球表现的系统成名,后来又因政治博客FiveThirtyEight而出名。这个博客在2008年美国总统大选中猜对了50个州中的49个,在本书出版几周后的2012年大选中,更是猜对了全部50个州。书中,他考察了许多领域的预测:2008年的金融危机、天气、地震、经济、疾病、国际象棋、棒球、扑克、政治、气候和恐怖主义。他想弄明白,为什么有些预测成功了,有些却失败了,并提出了一套以贝叶斯推理(Bayesian reasoning)为基础的思路。书中例子很多,文笔像聊天一样轻松。

内容详述

1. 我们为何失败:一场灾难性的预测失败

核心观点: 西尔弗从2007至2008年的金融危机讲起。标准普尔(Standard & Poor’s)这样的评级机构,给某些抵押贷款支持证券打了最高的安全评级,严重低估了它们的风险,官员和经济学家也没有看清房地产泡沫的真面目。他区分了风险和不确定性:风险是可以衡量的,不确定性则很难衡量;他说,评级机构把新出现的、未经检验的产品,当成了风险已知的产品。2009年初政府作出的那些自信满满的经济预测,他也提出了同样的指责。他用打靶来打比方,说明预测可以很精确,却不准确:子弹总是落在同一个点上,说明很稳定,但如果没有打中靶心,就谈不上准确。他说,预测者常常为了保护自己的声誉而表现得十分笃定,而更好的预测,是从承认不确定性和偏见开始的。

现实生活: 一个听上去很自信、很精确的数字,并不等于一个正确的数字。

2. 评论家、刺猬与狐狸

核心观点: 西尔弗转向菲利普·泰特洛克(Philip Tetlock)的研究。泰特洛克发现,许多专家对政治的预测,并不比碰运气好。他把思考者分成刺猬型和狐狸型:刺猬型(hedgehogs)抱着少数几个大想法,到处套用;狐狸型(foxes)则借鉴许多来源,并随着新信息改变看法。刺猬型的表现更差,而且他们出错时倾向于怪罪外部因素,狐狸型则承认自己的错误。西尔弗把优秀预测者的习惯归纳为:用概率思考、随时调整、乐于接受多种视角,他说自己也努力这样做。他把这些人与电视上的评论员做了对比,比如*The McLaughlin Group*节目里的那些人,在他看来,这些人并不是真的想做出准确的预测。

现实生活: 事实变了就改变预测的人,通常比从不改变的人更可靠。

3. 棒球与扑克:模型、球探与过程

核心观点: 西尔弗介绍了自己的棒球系统PECOTA,当时正是*Moneyball*让这类做法广为人知的年代。这类模型研究球员的历史记录,对运气和年龄因素做出调整,并把球员与过去相似的球员作比较。他认为,这些模型并没有取代球探,因为球探能看到数字漏掉的东西,比如球员的行为表现,最好的预测是两者并用。他举了德斯汀·佩德罗亚(Dustin Pedroia)的例子:PECOTA对他评价很高,球探却对他存疑。西尔弗还曾有一段时间以打扑克为生,他讲述了大约从2003年开始的扑克热潮,当时大量缺乏经验的玩家,让水平稍好一点的人很容易赚钱。好的玩家会用条件概率思考,包括对手可能在盘算什么。因为短期内运气的作用很大,所以他说,评判一个决定,应该看它的过程质量,而不能只看结果。

现实生活: 好的玩家根据胜算来评判一个决定,而不只看结果。

4. 天气:一个成功的故事

核心观点: 作者把天气预报当作一个在过去几十年里大有进步的领域,这主要靠计算机速度的提升。人类预报员仍然有价值,他们能修正计算机的输出,对降雨尤其如此。天气是一个混沌系统,起始数据中的小误差会放大成结果中的大误差,但气象学家给出的是概率,比如降雨概率百分之三十,并且会检查这些概率是否经过良好的校准(calibrated)。他还谈到了卡特里娜飓风:预报做得不错,应对却不行。

现实生活: 一份说“降雨概率70%”的预报,十次里应该大约有七次是对的。

5. 地震与经济

核心观点: 相比之下,地震无法在时间和地点上预测。地震学家能估计一个地区在很长一段时间内发生地震的可能性,却说不出地震什么时候会来。数据嘈杂,系统又没被充分理解,所以很容易发现一些并不真实的规律,这种错误叫作过拟合(overfitting)。西尔弗指出,2011年日本福岛核电站遭遇海啸,就是一个对过去大型事件的证据重视不足的例子。他也认为经济预测做得很差。该章标题所指的,是1997年北达科他州大福克斯(Grand Forks)的洪水,当时预报中的不确定性没有被讲清楚。经济是一个复杂的系统,其中的因果很难分开,预测者可能会混淆相关与因果,还会为保护自己的声誉而牺牲准确性。他看好预测市场,因为在那里,人们要拿真金白银来支持自己的预测。

现实生活: 猜的人多了,总会有人碰巧猜对,这并不能证明他有本事。

6. 疾病与贝叶斯定理

核心观点: 流行病学家的工作容不得错误,因为错了会死人,所以西尔弗把他们看作谨慎的榜样。他回顾了1976年美国的猪流感恐慌:当时官员预计会爆发疫情,福特总统支持仓促推行疫苗接种计划,结果疫情根本没有出现。预测可能自我实现,也可能自我抵消,因为人们会对预测作出反应。接着,书中的核心思想登场了,也就是贝叶斯思维,它以18世纪的牧师托马斯·贝叶斯(Thomas Bayes)命名:先有一个关于某件事有多大可能的先验看法,然后随着新证据的出现不断更新它。西尔弗把它与罗纳德·费希尔(Ronald Fisher)的频率学派(frequentist)方法作对比,后者主导了20世纪的统计学,他认为这种方法造成了许多假阳性,并引用约翰·约阿尼迪斯(John Ioannidis)关于已发表研究中有多少存在缺陷的说法。

现实生活: 听到一个传闻时,你要先掂量它原本有多大可能是真的,然后随着了解更多再作调整。

7. 计算机、群体与市场

核心观点: 西尔弗借助人与机器下国际象棋的故事指出,计算机只会严格按照程序行事。在规则清晰、快速计算很重要的领域,比如国际象棋和天气,它们表现出色,但面对经济或地震这样混乱的系统就吃力了,而且预测者的盲点很可能被复制进程序里。在股市中,他发现独立作出的群体预测往往胜过个人的预测,不过并不总是胜过最优秀的个人。交易员常常随大流,而以短期成绩为考核标准的机构,则助长了泡沫的形成。他说,如果我们总以为价格永远是对的,就永远发现不了泡沫。

现实生活: 想法一致的一群人,不等于会核对答案的一群人。

8. 气候、恐怖主义与知识的局限

核心观点: 关于气候变化,西尔弗说,温室效应几乎肯定存在,人类排放的二氧化碳加剧了它,地球很可能会变暖;不过具体影响没那么确定,科学家们对气候模型有多可靠也有分歧。政治又增添了噪音:有些激进的预测来自建模错误,另一些则出于影响政策的努力,而公众往往把科学上的不确定性当成软弱。关于恐怖主义,他说,在袭击发生之前,很难分辨信号和噪音,人们还会把陌生的事当成不可能的事。袭击的分布遵循幂律(power law),也就是罕见的特大事件确实会发生,所以分析人员应该设想更大规模的袭击,并认真对待它们的征兆。他还补充说,最糟糕的失败,是根本不作任何预测。他最后说,人们天生倾向于认为自己擅长预测,而要改进,就要采取贝叶斯的方法,坦诚面对不确定性,并愿意修正自己的看法。

现实生活: 一位预测者如果说明了哪些因素会改变预测,就能让你看到更完整的图景。

为什么重要

《精准预测:如何从巨量杂讯中,看出重要的讯息》登上了《纽约时报》畅销书榜,被亚马逊评为2012年度最佳非虚构图书,并获得2013年美国优等生荣誉学会(Phi Beta Kappa Society)的科学图书奖。它是预测、概率和贝叶斯思维方面的一本重要大众入门书,推动了统计推理进入公共讨论,在选举季尤其如此。这本书强调了谦逊、概率和检验的价值,也说明了过度自信和激励机制如何扭曲预测。它借鉴了菲利普·泰特洛克对专家判断的研究,对于任何需要判断各类预测的人来说,无论是在商业、新闻、政治还是体育领域,都是一本有用的书。

核心要点

  • 把信号和噪音分开。 数据里的模式,并不都是真实或有意义的。
  • 用概率来思考。 避免虚假的确定感,并说明自己有几分把握。
  • 随新证据更新。 贝叶斯思维帮助你逐步调整自己的看法。
  • 检验预测。 像天气预报这样会核对结果的领域,会随时间不断进步。
  • 保持谦逊。 了解知识的局限,对复杂系统尤其如此。

我们能学到什么

你可以先把自己的预测用概率表达出来,并检查它们有多常成真。看到数据里一个引人注目的模式时,问问它有没有可能只是巧合。对那些不用承担后果的评论员作出的自信预测,要保持警惕。有新证据时要更新你的看法,但避免对每一条新消息反应过度。还要学一点统计学的基础知识,它有助于你更批判地阅读新闻。把数字和判断结合起来,是一个好习惯。

批评与不同观点

气候科学家迈克尔·曼(Michael Mann)批评这本书,说它用对待选民偏好的同样方法,来对待气候的物理科学,所依据的假设在他看来是主观的,而且无法检验。正如一位赞赏它的评论者所说,这本书是写给普通读者的,省略了大部分数学内容,因此不可能深入讨论每一种统计方法,而贝叶斯方法本身也有难处,比如如何选择先验看法。西尔弗后来的预测也引发了关于概率的争论:他2016年的模型给唐纳德·特朗普(Donald Trump)大约29%的获胜机会,比其他主要预测者都高,而特朗普最终获胜。这样的概率下出现这种结果完全有可能,这件事也表明,人们多么常把概率误读成预测。尽管如此,这本书的主要信息仍然受到广泛的重视。

适合哪些读者

这本书适合对数据、预测、体育和政治感兴趣的读者。它引人入胜,几乎不需要数学基础。想系统而严谨地了解统计学或概率论的人,可以去读一本教科书。

本摘要由英文翻译而来,翻译过程借助了人工智能。

想读完整本书吗?

摘要只是尝一口,不是一顿正餐。下面是找到全书的地方。

你读到最后啦 🎉

太棒了。把这本书标记为已读,我们会为你推荐接下来读什么。

接下来读这些

超预测

Philip E. Tetlock and Dan Gardner

政治学家菲利普·泰特洛克(Philip Tetlock)和记者丹·加德纳(Dan Gardner)报告了一项研究:有些普通人预测世界大事的本领胜过专家,并讲述了让他们如此出色的那些习惯。

🧩 心灵与心理

对赌

Annie Duke

前职业扑克选手安妮·杜克(Annie Duke)认为,生活中的决定都是在信息不全时下的赌注,并介绍了如何按决定本身的质量而不是结果来评判它,如何用概率来思考,以及如何借助诚实的小团体来学习。

🧩 心灵与心理

统计数字会撒谎

Darrell Huff

达雷尔·哈夫(Darrell Huff)用轻松诙谐的笔调,带读者游览广告商、记者等人使用的种种花招,说明数字、图表和平均数怎样误导人,让读者学会识破骗局。

🔬 科学

魔球:逆境中致胜的智慧

Michael Lewis

迈克尔·刘易斯(Michael Lewis)讲述了预算很少的棒球队奥克兰运动家队(Oakland Athletics)如何用统计数据找到被忽视的球员,与财力雄厚的球队抗衡,以及这件事如何挑战了人们对天赋的旧观念。

💼 商业

大卖空

Michael Lewis

迈克尔·刘易斯(Michael Lewis)讲述了几位与众不同的投资者,他们在2008年金融危机之前就看出美国的房地产繁荣是一个泡沫,并押注它会破裂,也发现整个金融体系对自身风险的判断错得有多深。

💼 商业

时间简史

Stephen Hawking

世界上最伟大的物理学家之一,几乎不用数学,向读者讲述我们对宇宙的起源、结构和命运有哪些认识,从大爆炸、黑洞,一直讲到时间本身的性质。

🔬 科学

想换个口味吗?

再选一个主题,我们会推荐三本书给你入门。

正在显示以下主题的书:
浏览全部书籍 →