即将到来的浪潮

原书名:The Coming Wave

13 岁以上阅读约 9 分钟人工智能生物技术
内容提示 讨论工程化大流行病、网络攻击和恐怖主义等灾难性风险
获取这本书 ↓

人工智能公司DeepMind的联合创始人穆斯塔法·苏莱曼(Mustafa Suleyman)认为,一波即将到来的人工智能与合成生物学浪潮,将带来巨大的好处,也带来严重的危险;要把这些技术控制住,看起来不可能,却必须想办法做到。

简介

《即将到来的浪潮》(副标题的意思是:技术、权力与二十一世纪最大的两难困境)出版于2023年,作者穆斯塔法·苏莱曼于2010年共同创办了DeepMind(后来被谷歌收购),之后又创办了Inflection AI公司,这本书是他与作家迈克尔·巴斯卡(Michael Bhaskar)合作完成的。苏莱曼说,他职业生涯的大部分时间都在研发人工智能。他认为,先进的人工智能和合成生物学这两项技术,是即将到来的一波浪潮的核心,它将重塑社会,机器人、量子计算和其他技术也围绕着它们发展。这本书描述了这一波浪潮、它所引出的“遏制问题”(containment problem),以及他希望能使遏制成为可能的十个步骤。全书兼有回忆录、历史和论证的特点。

内容详述

1. 一波浪潮、一个两难困境和一个盲点

核心观点: 苏莱曼开篇便说,人类世界的基础是两样东西,智能和生命,而一波新的技术浪潮正赋予我们设计这两者的能力。他说,这波浪潮将创造出前所未有的巨大财富,但它的迅速扩散也让不法分子获得了力量,威胁到稳定,甚至可能造成灾难。他讲述了自己如何在2010年与戴米斯·哈萨比斯(Demis Hassabis)和肖恩·莱格(Shane Legg)共同创办DeepMind,目标是复制人类智能,以及随着技术的进步,他的担忧是怎样越来越深的。他把核心问题称为“两难困境”(the dilemma):开发这些技术,或者拒绝开发这些技术,都有可能走向灾难,或者走向监控式的反乌托邦。他还描述了“悲观厌恶”(pessimism aversion),也就是人们,尤其是有权势的人,面对令人恐惧的证据时,习惯别过脸去的那种情绪。他回忆说,自己曾向一屋子的科技领袖提出警告,却被他们耸耸肩不当回事;还有一次关于廉价DNA合成的研讨会,听众拒绝接受其中的风险。书中透露,开头的那篇简短序言是由一个人工智能写的。

现实生活: 因为怕结果吓人,就把一项令人担心的体检往后拖,这是一种常见的回避。

2. 扩散与遏制问题

核心观点: 第一部分论证说,技术是一波一波到来的,每一波都围绕一种通用技术展开,比如蒸汽机、电力、内燃机或计算技术。一项技术一旦行得通,就会变得更便宜,并且传播开来。他以汽车为例:在亨利·福特(Henry Ford)的T型车和装配线出现之后,拥有汽车的美国人的比例,从1915年的大约10%上升到了1930年的59%。接着,他转向遏制问题,也就是监测、限制、控制甚至关停一项技术的能力。发明者很快就会失去对自己发明将变成什么样子的控制:爱迪生(Edison)的留声机、诺贝尔(Nobel)的炸药和古腾堡(Gutenberg)的印刷机,都走向了它们的创造者没有料到的方向。社会常常试图说不,奥斯曼帝国就曾长期推迟引进印刷机,但抵制最终还是被消磨殆尽。核武器是部分的例外,它受到成本、条约、恐惧和运气的制约,即便如此,其中也有事故和险情。

现实生活: 手机一旦变得便宜,几乎人人都可以拥有一部。

3. 新的浪潮:智能、生命及其他

核心观点: 第二部分描述了浪潮本身。在人工智能方面,他讲到了2012年DQN程序学会玩一款雅达利(Atari)游戏,2016年AlphaGo与李世石(Lee Sedol)的比赛,深度学习,以及ChatGPT等大语言模型的兴起。他提出了“人工能力智能”(artificial capable intelligence)的概念,即人工智能能够在极少人类监督的情况下完成复杂目标的那个时间点,并认为这个近期的里程碑,比关于超级智能的争论更重要。在生物学方面,他描述了我们现在如何通过基因组测序、CRISPR基因编辑和DNA合成来读取、编辑和书写DNA,以及DeepMind的AlphaFold如何表明人工智能与生物学是相互促进的。围绕着这两者,还有机器人、量子计算、纳米技术和新能源。他预期的好处包括新药、更清洁的能源,以及几乎每个人都能得到专家式的帮助。

现实生活: 一种帮助科学家设计新分子的工具,既能加快医学的进步,也会带来风险。

4. 使它与众不同的四个特点

核心观点: 苏莱曼说,有四个特点使这一波浪潮比以往的更难遏制。第一是不对称性:小的行动者也能产生巨大的影响,他举了一个例子,2022年,一支乌克兰的小型无人机部队帮助拖住了基辅附近的一支俄军纵队。第二是超进化:创新在加速,物理世界开始以数字的速度运转。第三是全用途:一项技术可以服务于许多目的;一个原本用来寻找药物的人工智能,在被要求寻找毒物时,几小时内就提出了数以万计的有毒分子。第四是自主性:系统越来越多地不经人类批准就采取行动、找出策略,而且它们的内部运作往往难以解释。他提到了斯图尔特·罗素(Stuart Russell)的大猩猩问题,也就是担心一个更聪明的实体最终会反过来遏制我们。

现实生活: 一种任何人都能用来做好事的工具,也可能被少数人滥用。

5. 无法阻挡的动力

核心观点: 为什么不干脆停下来呢?苏莱曼列出了推动这波浪潮前进的各种力量:国家之间的竞争(他说,AlphaGo的胜利在中国被看作人工智能的“斯普特尼克时刻”),奖励开放和发表的研究文化,巨大的经济回报,粮食和气候等迫切的全球需求,以及人类的自负。这些力量相互强化,所以放慢脚步,既违背国家的利益,也违背企业和研究者的利益。

现实生活: 在一场竞赛里,每支队伍都怕被落下,谁也不愿第一个慢下来。

6. 不堪重负的国家

核心观点: 第三部分考察民族国家,他认为民族国家是能够遏制技术的主要行动者,但它已经面临信任下降和不平等加剧的问题。这波浪潮会放大它的弱点。2017年的WannaCry攻击,利用了从美国一家情报机构窃取的工具,他以此作为不对称性失控的例子。他警告说,会出现更廉价的武器和网络攻击、深度伪造和虚假信息、实验室意外泄漏以及大规模的失业。权力既可能走向集中,增强威权控制,催生庞大的新公司;也可能走向分散,使一些群体有能力生活在传统结构之外。

现实生活: 一个消防力量被削弱的小镇,在新的危险出现时,会面临更大的威胁。

7. 灾难还是反乌托邦

核心观点: 第十二章直截了当地阐述了这个两难困境。如果浪潮得不到遏制,不法分子可能利用它制造灾难,比如一场人为制造的大流行病;他用奥姆真理教(Aum Shinrikyo)在1990年代发动的袭击说明,一个意志坚定的团体即使手段有限,也能造成伤害。但看起来最安全的答案,也就是全面的监控和控制,却会通向反乌托邦。叫停技术也不是出路,因为停滞本身也会带来崩溃。他说,人类必须在这两极之间走一条狭窄的路。

现实生活: 自由太多,可能让有害的人得以行动;控制太多,则可能终结自由。

8. 实现遏制的十个步骤

核心观点: 第四部分论证说,仅靠监管是不够的,而在当今世界里遏制是不可能的。他提出了十个步骤,排列成同心圆,用来改变这些条件:技术安全研究,采用阿波罗计划式的项目;审计;放慢发展的瓶颈环节,比如对先进芯片的出口管制;制造者,包括应当亲自去建设的批评者;在利润与目标之间取得平衡的企业;培养自身专业能力并加以监管的政府;联盟与条约;像航空业那样公开地从失败中学习的文化;民众运动;第十步是那条狭窄的路本身,意思是所有这些措施之间要协调一致。没有哪一个步骤是足够的,他称遏制是一项永无止境的工作。他说,现在就是开始的时刻。

现实生活: 好几层保护措施,比单独一层更牢靠。

为什么重要

《即将到来的浪潮》 出版于2023年,当时ChatGPT和GPT-4刚刚让生成式人工智能成为公众话题,而作者是帮助建立这一领域的人。书中对滥用的警告,以及它坚持认为监管必要但不够的观点,加入了关于如何治理人工智能和生物技术的讨论。“遏制问题”这一概念,为控制强大技术这一挑战命了名。这本书触及了关于超级智能的争论,并引用了斯图尔特·罗素,但认为近期的能力以及政治和社会问题,更值得关注。它还提出了这样的问题:遏制到底有没有可能,企业和政府应当扮演什么角色。

核心要点

  • 技术会扩散。 历史表明,有用的技术会不断传播,很难被挡住。
  • 一波新的浪潮正在到来。 人工智能和合成生物学,连同围绕它们的机器人和其他领域,可能改变生活。
  • 好处很大。 医学、能源和专家式的帮助,都可能得到改善。
  • 四个特点增加了风险。 不对称性、超进化、全用途和自主性,使这一波浪潮更难遏制。
  • 悲观厌恶是一个陷阱。 对令人警觉的证据视而不见,会阻碍行动。
  • 遏制需要多种措施。 十个步骤,从技术安全到条约和公众压力,必须协同发挥作用。

我们能学到什么

你可以借助这本书,思考强大的技术应当如何开发和治理,以及普通公民可以发挥什么作用。了解人工智能和生物技术,关注有关监管的讨论。支持企业的透明和安全。如果有兴趣,可以考虑从事安全和政策方面的职业。对炒作和恐惧都要小心,去找比较均衡的信息。还要记住,技术的未来取决于许多人的决定,而公众的压力有助于塑造这些决定。

批评与不同观点

作者本人也预料到有些读者会觉得这本书言过其实,并承认自己作为人工智能行业的内部人士,是有偏见的。怀疑者可能会说,书中关于技术几乎必然扩散、必然走向灾难的图景是危言耸听,也没有充分考虑社会监管技术的能力,就像对核武器那样在一定程度上做到了的,而书中本身也称核武器是一个部分的例外。另一些人可能认为,这样的监管呼吁出自人工智能公司创始人之手,可能对既有企业有利,书中也提到,批评欧盟《人工智能法案》的人说,大型科技公司参与了起草,并把它削弱了。按作者自己的说法,合成生物学的那些情景,是根据趋势推演出来的,专家们对制造一种危险病原体有多容易,也可能有不同看法。这十个步骤比较宽泛,苏莱曼称它们是必要的基础工作,而不是完整的地图或最终的答案。书的开头引用了许多知名读者的评语,他们称赞这本书是一记发人深省的警钟。

适合哪些读者

这本书适合想了解人工智能与生物技术及其治理之争的普通读者,包括高年级的中学生。它清晰易懂,是写给非专业人士看的。想了解技术细节或想看更持怀疑态度的观点的读者,可以再读这一主题的其他著作。

本摘要由英文翻译而来,翻译过程借助了人工智能。

想读完整本书吗?

摘要只是尝一口,不是一顿正餐。下面是找到全书的地方。

你读到最后啦 🎉

太棒了。把这本书标记为已读,我们会为你推荐接下来读什么。

接下来读这些

超级智能

Nick Bostrom

哲学家尼克·博斯特罗姆(Nick Bostrom)认为,如果机器变得比人类聪明得多,它们就可能变得极其强大;除非我们能解决如何给它们设定对人类安全的目标这个问题,否则后果可能是灾难性的。

💡 科技

AI新生

Stuart Russell

人工智能先驱斯图尔特·罗素(Stuart Russell)认为,如今构建人工智能的标准做法,即给机器设定固定的目标,是有缺陷的,也很危险;他建议设计这样的机器:它们对人类的偏好并不确定,要通过观察我们来学习。

💡 科技

生命3.0

Max Tegmark

物理学家马克斯·泰格马克(Max Tegmark)探讨了人工智能赶上并超越人类智能之后会发生什么,勾勒出一系列可能的未来,并主张我们应该现在就认真思考,我们想要的是哪一种。

🔬 科学

智人之上

Yuval Noah Harari

尤瓦尔·诺亚·赫拉利(Yuval Noah Harari)梳理了人类共享信息的历史,从故事、文字到印刷术和算法,并警告说,人工智能是一种全新的网络,可能重塑权力,甚至威胁民主。

🏛️ 历史

共智时代:如何与AI共生共存

Ethan Mollick

沃顿商学院教授伊森·莫里克(Ethan Mollick)写了一本实用指南,把生成式人工智能(AI)当作一种“共同智能”(co-intelligence)来使用:他讲清楚它擅长什么、不擅长什么,并给出四条规则,帮助人们在工作、学习和生活中有效而负责任地使用它。

💡 科技

创新者:一群技术狂人和鬼才程序员如何改变世界

Walter Isaacson

沃尔特·艾萨克森(Walter Isaacson)通过发明计算机、互联网和万维网的那些人,讲述了数字革命的历史,并提出:创新主要是协作的产物,而不是孤独天才的成就。

💡 科技

想换个口味吗?

再选一个主题,我们会推荐三本书给你入门。

正在显示以下主题的书:
浏览全部书籍 →