数学家、前对冲基金分析师凯茜·奥尼尔(Cathy O'Neil)说明了:学校、职场、警务、信贷和保险中使用的那些隐秘而无人问责的算法,如何在看似客观的外表下悄悄强化不公平,她把这些算法称为“数学毁灭性武器”(weapons of math destruction)。
简介
*Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy*出版于2016年,作者凯茜·奥尼尔拥有数学博士学位,金融危机期间在一家对冲基金担任量化分析师,后来成为数据科学家和作家。她说,自己离开金融业,是因为看到数学模型披着科学权威的光环,却可能造成伤害。书中每一章考察生活中的一个领域,在这些领域里,评分系统给人分类排序,例如教育、招聘、司法和贷款。全书带着愤怒,却条理清楚,是写给普通读者的。
内容详述
1. 什么样的模型会变成武器
核心观点: 奥尼尔从自己在金融业的经历讲起,她在那里看到,人们对数学模型的信任助长了2008年的危机。随后她给出了问题的定义。她说,有害的模型有三个特征:不透明,被它打分的人看不到也无法质疑它是如何运作的;规模大,影响许多人;造成损害,往往是惩罚穷人,奖励本来就占优势的人。相比之下,好的模型是透明、公平并且可以纠正的。
现实生活: 如果一个分数决定你能不能拿到贷款,却没有人能告诉你它是怎么算出来的,你就无从申诉。
2. 困住人的反馈循环
核心观点: 作者解释了为什么有些模型会制造出自己的“现实”。一个系统把某些街区标记为需要加强警力的地方,那里因为有警察在场,就会发现更多轻微的犯罪,新的数据似乎又证实了这个街区很危险,于是派去更多的警察。同样,一个被评为高风险的人,可能会被拒绝给予机会,这让他的处境变得更糟,似乎又证明了这个分数是对的。这类自我强化的循环,身在其中尤其难以察觉。
现实生活: 一个被贴上“不值得投入”标签的学生,得到的机会可能更少,成功的机会也就更少,这看起来反倒像是证实了那个标签。
3. 学校、排名与教师评分
核心观点: 奥尼尔考察了数据在教育中的使用。她说,大学排名促使各所大学去追逐那些可以衡量的指标,并投入大量资金往榜单上爬,这在一定程度上推高了学费。她还描述了一些用学生考试成绩的变化来给教师打分的系统,对一个班级来说,这种做法在统计上可能并不可靠,却被用来解雇教师。数字有了权威,而背后的样本量其实很小,数据也很杂乱。
现实生活: 一位教师可能被一个数字评判,而这个数字的起伏主要出于偶然。
4. 工作、招聘与排班
核心观点: 书中接着谈到工作。许多雇主用软件筛选申请,还用性格测试淘汰一些求职者,其中包括有心理健康问题的人,而这一切都没有人来作出解释。针对低薪员工的排班软件会根据需求调整班次,这提高了公司的效率,却让员工很难安排照看孩子、学习或第二份工作。奥尼尔认为,这些系统把人当作要被优化的输入。
现实生活: 一位只在几天前才被告知排班的女工,没有办法规划自己的生活。
5. 信贷、保险与穷人
核心观点: 她说,在金融和保险领域,数据经纪商收集了海量信息,公司用这些信息来锁定目标或给人打分。发放高利贷的放贷机构和营利性大学,可以把广告投向最脆弱的人群。用信用分数和其他替代指标来招聘或给保险定价,可能让穷人受到双重惩罚。富人更多是由真人来对待,而穷人则由机器来处理,机器会出错,而且错误很难纠正。
现实生活: 因为过去的困境而分数偏低的人,保险可能要付更多的钱,这让他更难恢复。
6. 民主,以及该怎么办
核心观点: 在最后几章,奥尼尔谈到政治。她说,竞选团队可以向选民发送个性化的信息,而别人看不到,这可能损害共同的公共讨论。社交媒体的信息流也会影响人们看到什么。她最后提出了一些建议:建模者像医生一样发一份伦理誓言;模型要接受公平性审计;监管者要求贷款、保险和信用评分等领域做到透明;重要的算法不仅要由公司内部人员,也要由外部的审计者来检查。她认为,效率有时应当让位于人的价值,而当数据被公开、公平地使用时,它也能帮助人们。
现实生活: 测试一个招聘工具,看它是否不公平地筛掉了某些群体,就是一种切实可行的审计。
为什么重要
《算法霸权》是《纽约时报》畅销书,也成为关于算法偏见的重要大众读物之一。它入围了美国国家图书奖非虚构类长名单,并影响了记者、研究者和立法者,他们当时刚开始思考应当如何监管自动化决策。书名中的那个说法进入了日常用语。它的主要贡献,是表明算法并不中立:它们由人构建,用过去的数据训练,并为可能与公平相冲突的目标而设计。它帮助开辟了一个关于审计、问责和数据科学伦理的工作领域,至今仍是一本标准的入门读物。
核心要点
- 不透明让伤害难以反驳。 人们无法质疑一个自己看不到的分数。
- 规模会放大错误。 一个有缺陷的模型可以同时影响数百万人。
- 反馈循环会固化劣势。 预测本身可能造成它所预测的结果。
- 模型体现的是人的选择。 数据和目标反映了构建者的价值观。
- 审计与透明不可或缺。 公平的系统需要测试、解释和申诉的渠道。
我们能学到什么
每当有一个分数或排名被用来对你或别人作决定时,你都可以借这本书提出更好的问题:它是谁建的,用了什么数据,在优化什么,有没有人可以申诉?不要仅仅因为一个数字是用数学算出来的,就把它当作客观的。如果你从事数据工作,就想一想错误和偏见可能怎样伤害别人,并去检验它们。支持要求对自动化决策作出解释和复核的规则,并记住,一个模型的公平程度,只取决于它背后的那些选择。
批评与不同观点
一些批评者说,奥尼尔依靠少数几个生动的例子,有时把不同的问题混为一谈,例如劣质数据、糟糕的设计和蓄意滥用,以致呈现出的图景比证据所能支持的更偏一面。另一些人指出,人类的决策者同样有偏见、同样不透明,而设计良好的算法可以减少不一致,这一点书中给予的肯定很有限。有些数据科学家觉得,“武器”这个称呼过于笼统,而且少数案例的叙述缺乏足够的技术细节。支持者回应说,自动化决策关系重大,值得严格审视。
适合哪些读者
这本书适合任何想了解算法如何影响日常生活中的公平的人,包括学生、教师、管理者和公民。它通俗易懂,几乎不用数学。想学习衡量偏见的技术方法的读者,之后也许需要去读更专业的书。
本摘要由英文翻译而来,翻译过程借助了人工智能。
想读完整本书吗?
摘要只是尝一口,不是一顿正餐。下面是找到全书的地方。
你读到最后啦 🎉
太棒了。把这本书标记为已读,我们会为你推荐接下来读什么。
接下来读这些
监控资本主义时代
Shoshana Zuboff
哈佛大学教授肖莎娜·祖博夫(Shoshana Zuboff)认为,大型科技公司开创了一种新的资本主义:它收集海量的个人数据,把数据变成对我们行为的预测并出售,从而威胁到隐私、自主和民主。
⚖️ 政治与社会AI新生
Stuart Russell
人工智能先驱斯图尔特·罗素(Stuart Russell)认为,如今构建人工智能的标准做法,即给机器设定固定的目标,是有缺陷的,也很危险;他建议设计这样的机器:它们对人类的偏好并不确定,要通过观察我们来学习。
💡 科技统计数字会撒谎
Darrell Huff
达雷尔·哈夫(Darrell Huff)用轻松诙谐的笔调,带读者游览广告商、记者等人使用的种种花招,说明数字、图表和平均数怎样误导人,让读者学会识破骗局。
🔬 科学算法之美
Brian Christian and Tom Griffiths
作家布莱恩·克里斯汀(Brian Christian)和认知科学家汤姆·格里菲思(Tom Griffiths)说明了,计算机科学中的一些思想,比如最优停止、排序、缓存和调度,如何为我们在时间、空间、选择和与他人相处方面的日常决定提供切实的指导。
💡 科技精准预测:如何从巨量杂讯中,看出重要的讯息
Nate Silver
统计学家兼选举预测者内特·西尔弗(Nate Silver)解释了为什么大多数预测会失败,并指出,更好的预测来自用概率来思考、随新证据不断更新判断,以及对不确定性保持谦逊。
🔬 科学创新者:一群技术狂人和鬼才程序员如何改变世界
Walter Isaacson
沃尔特·艾萨克森(Walter Isaacson)通过发明计算机、互联网和万维网的那些人,讲述了数字革命的历史,并提出:创新主要是协作的产物,而不是孤独天才的成就。
💡 科技想换个口味吗?
再选一个主题,我们会推荐三本书给你入门。