数学者で元ヘッジファンドのアナリストであるキャシー・オニールは、学校、職場、警察、信用、保険で使われる、秘密にされて責任を問われないアルゴリズムが、客観的に見えながら、不公平をひそかに強めうることを示し、それらを「数学破壊兵器」(weapons of math destruction)と呼びます。
概要
Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy は、2016年にキャシー・オニール(Cathy O’Neil)が出版した本です。オニールは数学の博士号を持ち、金融危機のあいだはヘッジファンドでクオンツ(金融の数理分析を行う専門職)として働き、その後データサイエンティスト兼書き手になりました。数学のモデルは、科学的な権威のオーラをまとったまま害をなしうることを目の当たりにして、金融の世界を離れた、と語っています。各章は、教育、採用、司法、融資など、スコアのしくみが人々を振り分けている、暮らしの別々の領域を取り上げます。怒りのこもった、けれども明快な本で、一般の読者向けに書かれています。
あらすじ
1. モデルが兵器になるとき
考え方: オニールは、金融の世界での自分の経歴から話を始めます。数学のモデルへの信頼が、2008年の金融危機を招く一因になるのを見たのです。そのうえで、問題を定義します。有害なモデルには三つの特徴がある、とオニールは言います。不透明であること、つまり、スコアをつけられる人が、それがどう動くかを見ることも、疑問を投げかけることもできません。規模があること、つまり、多くの人に影響が及びます。そして害をなすこと、しばしば貧しい人を罰し、すでに有利な人に報いる形で働きます。これに対して、良いモデルは、透明で、公正で、修正に開かれています。
実生活では: ローンが受けられるかどうかをスコアが決め、それがどう計算されたのか誰も説明できないなら、異議を申し立てることはできません。
2. 人を閉じ込めるフィードバックループ
考え方: 著者は、自分で自分の現実を作り出してしまうモデルがあることを説明します。ある地区に追加の警察の巡回が必要だと印をつけるシステムは、警察官がそこにいるために、より多くの軽い犯罪を見つけます。新しいデータは、その地区が危険だと裏づけているように見え、さらに多くの警察官が送られます。同じように、高リスクとスコアをつけられた人は、機会を断られるかもしれず、それで状況が悪くなり、スコアが正しかったように見えます。こうした自己強化のループは、内側からとくに見えにくいものです。
実生活では: 「見込みが薄い」とレッテルを貼られた生徒は、機会が減り、成功も減るかもしれず、それがレッテルを裏づけているように見えます。
3. 学校、ランキング、教師のスコア
考え方: オニールは、教育でのデータの使われ方を見ます。大学のランキングは、大学を測りやすい指標の追求に駆り立て、リストの順位を上げるために多額の費用を使わせ、それが学費の高騰を後押ししてきた、とオニールは言います。また、生徒のテストの点数の変化で教師を評価するしくみも取り上げます。一つのクラスだけを対象にすると、統計的に信頼できないことがあるのに、教師を解雇するために使われてきました。もとになる標本が小さくて、ばらつきも大きかったのに、数字が権威を帯びていたのです。
実生活では: 教師が、ほとんど偶然で上がったり下がったりする数字で評価されることがあります。
4. 仕事、採用、シフト
考え方: 本は、仕事の話に移ります。多くの雇用主が、応募書類をふるい分けるソフトウェアを使い、また性格診断テストが、メンタルヘルスの問題がある人も含め、人間による説明もなく候補者をふるい落とすことがあります。低賃金の労働者向けのシフト管理ソフトは、需要に合わせてシフトを調整するので、会社の効率には役立ちますが、働く人は、子どもの預け先、勉強、副業を手配するのがとても難しくなります。オニールは、こうしたシステムは人を、最適化される投入物のように扱っている、と論じます。
実生活では: シフトを数日前にしか知らされない労働者は、暮らしの計画を立てられません。
5. 信用、保険、貧しい人々
考え方: 金融と保険では、データブローカーが膨大な情報を集め、企業がそれを使って人々を狙ったり、スコアをつけたりする、とオニールは言います。悪質な貸し手や営利目的の大学は、いちばん弱い立場の人々に広告を向けることができます。採用や保険料の設定に、信用スコアなどの代わりの指標を使うと、貧しい人が二重に不利になることがあります。裕福な人はたいてい人が対応し、貧しい人は機械に処理されます。しかも機械はまちがいをしますが、それを直すのは難しいのです。
実生活では: 過去の苦労のために低いスコアがついた人は、保険料を多く払うことになるかもしれず、立ち直りがさらに難しくなります。
6. 民主主義と、これからすべきこと
考え方: 最後の章でオニールは、政治を考えます。選挙運動は、ほかの人には見えない個別のメッセージで有権者を狙うことができ、それは、みんなで共有する公の議論をむしばみうる、と言います。ソーシャルメディアのフィードも、人々の目に入るものを左右します。結びに、いくつかの提案を示します。モデルを作る人が、医師のように倫理の誓いを立てること。モデルの公平性を監査すること。規制当局が、融資、保険、信用スコアなどの分野で透明性を求めること。そして、会社の内部の人だけでなく、外部の監査人が重要なアルゴリズムを調べることです。効率は、ときには人間の価値に道を譲るべきだ、とオニールは論じます。データは、オープンで公正に使われるなら、人々の助けになりえます。
実生活では: 採用のツールが、特定の集団を不当にふるい落としていないかを調べるのは、実際的な監査です。
なぜ重要か
Weapons of Math Destruction は、ニューヨーク・タイムズのベストセラーになり、アルゴリズムの偏りについての主要な一般向けの本の一つになりました。全米図書賞のノンフィクション部門の候補作(ロングリスト)にも挙がり、自動化された決定をどう規制すべきかを問いはじめていたジャーナリスト、研究者、議員に影響を与えました。タイトルの言葉は、日常的に使われるようになりました。いちばんの貢献は、アルゴリズムは中立ではない、と示したことです。アルゴリズムは人が作り、過去のデータで訓練され、公平さと衝突しうる目的のために設計されているからです。監査、説明責任、データサイエンスの倫理という分野が開かれるのを助け、いまも標準的な入門書です。
要点
- 不透明さのせいで、害に異議を唱えにくい。 見えないスコアには、反論できません。
- 規模がまちがいを増幅する。 一つの欠陥のあるモデルが、何百万人にも一度に影響しえます。
- フィードバックループが不利を固定する。 予測が、予測した結果を生み出すことがあります。
- モデルは人間の選択を組み込んでいる。 データと目的には、作り手の価値観が表れます。
- 監査と透明性が欠かせない。 公正なシステムには、検証、説明、異議申し立てが必要です。
学べること
自分や誰かについての決定に、スコアやランキングが使われているときに、より良い問いを立てるのにこの本が役立ちます。誰が作ったのか、どんなデータを使っているのか、何を最適化しているのか、そして異議を申し立てられる人はいるのか。数学的だからというだけで、数字を客観的だと思い込まないようにしましょう。データを扱う仕事をしているなら、まちがいや偏りが人にどんな害を及ぼしうるかを考え、検証してください。自動化された決定に、説明と見直しを求めるルールを支持し、モデルの公平さは、その背後にある選択の公平さにすぎない、ということも覚えておきましょう。
批評と異なる見方
批評家のなかには、オニールは、少数の鮮やかな例に頼り、データの質の悪さ、設計のまずさ、意図的な悪用といった、異なる問題をときに混同しているので、証拠が支える以上に一面的な絵になっている、と言う人がいます。人間の意思決定者も偏っていて不透明であり、よく設計されたアルゴリズムは、判断のばらつきを減らせるのに、本はその点をあまり評価していない、という指摘もあります。データサイエンティストのなかには、「兵器」というラベルは大げさすぎ、いくつかの事例は技術的な詳細が足りないまま説明されている、と感じる人もいます。擁護する人は、自動化された決定の重大さを考えれば、強い監視は当然だ、と答えます。
どんな人に向いているか
アルゴリズムが日常生活の公平さにどう影響するかを理解したい人なら、学生、教師、管理職、市民を問わず、誰にでも向いています。読みやすく、数学はほとんど使いません。偏りを測る技術的な方法を知りたい人は、あとでより専門的な本に進むとよいでしょう。
この要約は、AIの助けを借りて英語から翻訳したものです。
本をまるごと読みたい方へ
要約は味見のようなものです。本そのものを読める場所をご案内します。
最後まで読みました 🎉
おつかれさまでした。この本を「読んだ」にすると、次に読む本をおすすめします。
次に読む本
監視資本主義
ショシャナ・ズボフ
ハーバード大学のショシャナ・ズボフ教授は、巨大テクノロジー企業が、膨大な個人データを集めて私たちの行動の予測に変え、それを売る新しいタイプの資本主義をつくり出し、プライバシー、自律、民主主義を脅かしていると論じます。
⚖️ 政治と社会AI新生
スチュアート・ラッセル
AIの先駆者スチュアート・ラッセルは、機械に固定された目標を与えるという、人工知能の標準的な作り方は欠陥があり危険だと論じ、人間の好みについて確信を持たず、私たちを観察しながらそれを学ぶ機械を設計するよう提案します。
💡 テクノロジー統計でウソをつく法
ダレル・ハフ
ダレル・ハフ(Darrell Huff)は、広告主やジャーナリストらが使う手口を、軽妙でウィットに富んだ案内で巡りながら、数字やグラフや平均がどう人をだましうるかを示し、読者がごまかしを見抜けるようにします。
🔬 科学アルゴリズム思考術
ブライアン・クリスチャン、トム・グリフィス
書き手のブライアン・クリスチャンと認知科学者のトム・グリフィスは、最適停止、並べ替え、キャッシュ、スケジューリングといったコンピューター科学の考え方が、時間、空間、選択、ほかの人とのかかわりについての日々の決断に、実用的な手がかりを与えてくれることを示します。
💡 テクノロジーシグナル&ノイズ
ネイト・シルバー
統計家で選挙予測者のネイト・シルバー(Nate Silver)は、ほとんどの予測がなぜ外れるのかを説明し、よりよい予測は、確率で考え、新しい証拠で更新し、不確かさに対して謙虚であることから生まれると示します。
🔬 科学イノベーターズ
ウォルター・アイザックソン
ウォルター・アイザックソンは、コンピューターとインターネットとウェブを生み出した人々を通じてデジタル革命の歴史を語り、イノベーションは、ひとりの天才の仕事というより、たいてい協力から生まれるものだと主張します。
💡 テクノロジーほかの本も見てみますか?
別のトピックを選ぶと、最初の3冊をご紹介します。