La Vague à venir
Titre original : The Coming Wave
Mustafa Suleyman, cofondateur de l'entreprise d'IA DeepMind, soutient qu'une vague à venir, faite d'intelligence artificielle et de biologie de synthèse, apportera d'immenses bienfaits et de graves dangers, et qu'il paraît impossible de contenir ces technologies, mais qu'il faut pourtant trouver le moyen d'y arriver.
Présentation
The Coming Wave: Technology, Power, and the Twenty-First Century’s Greatest Dilemma a été publié en 2023 par Mustafa Suleyman, qui a cofondé DeepMind en 2010 (rachetée plus tard par Google) puis l’entreprise Inflection AI, avec la collaboration de l’écrivain Michael Bhaskar. Suleyman dit avoir passé une grande partie de sa carrière à construire de l’IA, et il affirme que deux technologies, l’IA avancée et la biologie de synthèse, sont le cœur d’une « vague à venir » qui remodèlera la société, la robotique, l’informatique quantique et d’autres technologies se développant autour d’elles. Le livre décrit cette vague, le « problème du confinement » (containment problem) qu’elle pose et une série de dix mesures qui, espère-t-il, pourraient rendre le confinement possible. C’est un mélange de mémoires, d’histoire et de plaidoyer.
Résumé complet
1. Une vague, un dilemme et un angle mort
L’idée : Suleyman ouvre le livre en disant que deux choses sous-tendent le monde humain, l’intelligence et la vie, et qu’une nouvelle vague de technologies nous donne le pouvoir de concevoir l’une comme l’autre. Cette vague, dit-il, créera des richesses à une échelle jamais vue, mais sa diffusion rapide donne aussi du pouvoir aux acteurs malveillants et menace de provoquer de l’instabilité, voire une catastrophe. Il raconte comment il a cofondé DeepMind en 2010 avec Demis Hassabis et Shane Legg dans le but de reproduire l’intelligence humaine, et comment ses inquiétudes ont grandi à mesure que la technologie progressait. Il appelle le problème central le dilemme : construire ces technologies comme refuser de les construire risque de mener soit à la catastrophe, soit à une dystopie de surveillance. Il décrit aussi l’« aversion pour le pessimisme » (pessimism aversion), cette habitude émotionnelle, surtout chez les puissants, de détourner les yeux des preuves effrayantes. Il se souvient d’avoir présenté des avertissements à une salle de dirigeants de la tech qui les ont balayés d’un haussement d’épaules, et d’un séminaire sur la synthèse d’ADN bon marché où le public refusait d’admettre le risque. Le court prologue, révèle le texte, a été écrit par une IA.
Dans la vie réelle : Repousser un examen médical inquiétant parce que le résultat pourrait faire peur est une forme d’évitement bien connue.
2. La prolifération et le problème du confinement
L’idée : La première partie soutient que les technologies arrivent par vagues, chacune bâtie autour d’une technologie à usage général comme la machine à vapeur, l’électricité, le moteur à combustion ou l’informatique. Dès qu’une technologie fonctionne, elle devient moins chère et se répand. Il l’illustre avec l’automobile : après la Ford T d’Henry Ford et la chaîne de montage, la part des Américains possédant une voiture est passée d’environ 10 % en 1915 à 59 % en 1930. Il aborde ensuite le problème du confinement, c’est-à-dire la capacité de surveiller, de freiner, de contrôler et même d’arrêter une technologie. Les inventeurs perdent vite la maîtrise de ce que deviennent leurs inventions : le phonographe d’Edison, les explosifs de Nobel et la presse de Gutenberg ont tous pris des directions que leurs créateurs n’avaient pas prévues. Les sociétés ont souvent essayé de dire non, et l’Empire ottoman a longtemps retardé l’imprimerie, mais la résistance a fini par s’user. Les armes nucléaires sont l’exception partielle, freinées par leur coût, les traités, la peur et la chance, et même là, l’histoire comprend des accidents et des quasi-catastrophes.
Dans la vie réelle : Quand les téléphones sont devenus bon marché, presque tout le monde a pu en avoir un.
3. La nouvelle vague : intelligence, vie et le reste
L’idée : La deuxième partie décrit la vague elle-même. En IA, il évoque le programme DQN apprenant un jeu Atari en 2012, le match d’AlphaGo contre Lee Sedol en 2016, l’apprentissage profond et l’essor des grands modèles de langage comme ChatGPT. Il propose la notion d’« intelligence artificielle capable » (artificial capable intelligence), le moment où l’IA peut atteindre des objectifs complexes avec très peu de supervision humaine, et soutient que cette étape proche compte plus que les débats sur la superintelligence. En biologie, il décrit comment nous pouvons désormais lire, modifier et écrire l’ADN, grâce au séquençage du génome, à l’édition génétique CRISPR et à la synthèse d’ADN, et comment AlphaFold, de DeepMind, a montré que l’IA et la biologie se nourrissent mutuellement. Autour de ces deux domaines se trouvent la robotique, l’informatique quantique, les nanotechnologies et de nouvelles sources d’énergie. Parmi les bienfaits qu’il attend : de nouveaux médicaments, une énergie plus propre et une aide d’expert accessible à presque tout le monde.
Dans la vie réelle : Un outil qui aide les scientifiques à concevoir de nouvelles molécules peut accélérer la médecine et aussi augmenter les risques.
4. Quatre caractéristiques qui font la différence
L’idée : Suleyman dit que quatre caractéristiques rendent cette vague plus difficile à contenir que les précédentes. L’asymétrie signifie que de petits acteurs peuvent avoir des effets énormes ; il cite une petite unité ukrainienne de drones qui a contribué à immobiliser une colonne russe près de Kiev en 2022. L’hyper-évolution signifie que l’innovation s’accélère, le monde physique commençant à évoluer à la vitesse du numérique. L’usage universel (omni-use) signifie qu’une même technologie peut servir de multiples fins ; une IA conçue pour trouver des médicaments a pu, lorsqu’on lui a demandé de chercher des poisons, proposer en quelques heures des dizaines de milliers de molécules toxiques. L’autonomie signifie que les systèmes agissent et trouvent des stratégies de plus en plus sans l’accord d’un humain, et que leur fonctionnement interne est souvent difficile à expliquer. Il rappelle le « problème du gorille » de Stuart Russell, la crainte qu’une entité plus intelligente finisse par nous contenir.
Dans la vie réelle : Un outil que tout le monde peut utiliser pour le bien peut être détourné par quelques-uns.
5. Des incitations irrésistibles
L’idée : Pourquoi ne pas simplement s’arrêter ? Suleyman énumère les forces qui poussent la vague : la rivalité entre nations (il dit que la victoire d’AlphaGo a été perçue en Chine comme un moment Spoutnik pour l’IA), une culture de la recherche qui récompense l’ouverture et la publication, d’énormes gains financiers, des besoins mondiaux urgents comme l’alimentation et le climat, et l’ego humain. Ces forces se renforcent mutuellement, de sorte que ralentir va à l’encontre des intérêts des États, des entreprises et des chercheurs.
Dans la vie réelle : Quand chaque équipe d’une course craint d’être distancée, personne ne veut être le premier à ralentir.
6. Des États sous tension
L’idée : La troisième partie examine l’État-nation, qu’il voit comme le principal acteur capable de contenir la technologie, et qui fait déjà face à une confiance en baisse et à des inégalités croissantes. La vague va amplifier ses faiblesses. L’attaque WannaCry de 2017, construite à partir d’un outil volé à une agence de renseignement américaine, est son exemple d’asymétrie non contenue. Il met en garde contre des armes et des cyberattaques moins chères, les hypertrucages (deepfakes) et la désinformation, les fuites accidentelles de laboratoire et de fortes pertes d’emplois. Le pouvoir pourrait à la fois se centraliser, renforçant le contrôle autoritaire et créant de vastes entreprises nouvelles, et se décentraliser, donnant à des groupes les moyens de vivre en dehors des structures traditionnelles.
Dans la vie réelle : Une ville dont les pompiers sont affaiblis court un plus grand danger quand de nouveaux risques apparaissent.
7. Catastrophe ou dystopie
L’idée : Le chapitre 12 énonce le dilemme clairement. Si la vague n’est pas contenue, des acteurs malveillants pourraient s’en servir pour provoquer des désastres comme une pandémie fabriquée, et il s’appuie sur les attaques de la secte Aum Shinrikyo dans les années 1990 pour montrer qu’un groupe déterminé peut faire du mal même avec des moyens limités. Mais la réponse qui paraît la plus sûre, la surveillance et le contrôle totaux, mène à la dystopie. Arrêter la technologie n’est pas une issue non plus, car la stagnation provoquerait son propre effondrement. L’humanité, dit-il, doit marcher sur un chemin étroit entre ces deux pôles.
Dans la vie réelle : Trop de liberté peut laisser agir des acteurs nuisibles, et trop de contrôle peut mettre fin à la liberté.
8. Dix mesures pour contenir la vague
L’idée : La quatrième partie soutient que la réglementation seule ne suffit pas et que le confinement n’est pas possible dans le monde actuel. Il propose dix mesures, disposées en cercles concentriques, pour changer ces conditions : la recherche technique sur la sécurité, avec un programme du type Apollo ; les audits ; des goulots d’étranglement qui ralentissent le développement, comme les contrôles à l’exportation des puces avancées ; les concepteurs, y compris des critiques qui devraient construire eux aussi ; des entreprises qui concilient profit et finalité ; des gouvernements qui développent leur propre expertise et réglementent ; les alliances et les traités ; une culture qui apprend ouvertement de ses échecs, comme l’aviation ; les mouvements populaires ; et, dixième mesure, le chemin étroit lui-même, c’est-à-dire la cohérence entre toutes les mesures. Aucune mesure ne suffit à elle seule, et il décrit le confinement comme un effort sans fin. Il dit que le moment de commencer, c’est maintenant.
Dans la vie réelle : Plusieurs couches de protection valent mieux qu’une seule.
Pourquoi ce livre compte
La Vague à venir a été publié en 2023, peu après que ChatGPT et GPT-4 ont fait de l’IA générative un sujet public, et il vient de quelqu’un qui a contribué à bâtir ce domaine. Ses avertissements sur les usages malveillants, et son insistance sur le fait que la réglementation est nécessaire mais insuffisante, sont entrés dans le débat sur la manière de gouverner l’IA et les biotechnologies. La notion de « problème du confinement » a donné un nom au défi que pose le contrôle de technologies puissantes. Le livre touche au débat sur la superintelligence, en citant Stuart Russell, mais soutient que les capacités plus proches dans le temps, ainsi que les questions politiques et sociales, méritent davantage d’attention. Il a aussi soulevé la question de savoir si le confinement est seulement possible, et quel rôle devraient jouer les entreprises et les gouvernements.
Les idées clés
- La technologie se répand. L’histoire montre que les technologies utiles prolifèrent et qu’il est difficile de les retenir.
- Une nouvelle vague arrive. L’IA et la biologie de synthèse, avec la robotique et d’autres domaines autour d’elles, pourraient transformer la vie.
- Les bienfaits sont immenses. La médecine, l’énergie et l’aide d’experts pourraient s’améliorer.
- Quatre caractéristiques accroissent le risque. L’asymétrie, l’hyper-évolution, l’usage universel et l’autonomie rendent cette vague plus difficile à contenir.
- L’aversion pour le pessimisme est un piège. Détourner les yeux des preuves alarmantes empêche d’agir.
- Le confinement demande de nombreuses mesures. Dix mesures, de la sécurité technique aux traités et à la pression publique, doivent fonctionner ensemble.
Ce que nous pouvons en retenir
Ce livre peut aider à réfléchir à la manière dont les technologies puissantes devraient être développées et gouvernées, et au rôle que les simples citoyens peuvent jouer. Renseignez-vous sur l’IA et les biotechnologies, et suivez les débats sur la réglementation. Soutenez la transparence et la sécurité dans les entreprises. Envisagez des carrières dans la sécurité et les politiques publiques, si cela vous intéresse. Méfiez-vous à la fois de l’emballement et de la peur, et cherchez des informations équilibrées. Et n’oubliez pas que l’avenir de la technologie dépend des décisions de nombreuses personnes, et que la pression du public peut aider à les orienter.
Critiques et points de vue contraires
L’auteur lui-même s’attend à ce que certains lecteurs trouvent le livre exagéré, et il reconnaît qu’il est partial en tant qu’initié de l’IA. Les sceptiques peuvent juger alarmiste son tableau d’une prolifération et d’une catastrophe presque inévitables, et estimer qu’il accorde trop peu de poids à la capacité des sociétés de réglementer les technologies, comme elles l’ont en partie fait pour les armes nucléaires, que le livre lui-même présente comme une exception partielle. D’autres peuvent soutenir que, venant d’un fondateur d’entreprises d’IA, l’appel à la réglementation pourrait servir les grandes entreprises établies, et le livre note lui-même que les détracteurs de la loi européenne sur l’IA disent que les géants de la tech ont aidé à la rédiger et l’ont édulcorée. Les scénarios de biologie de synthèse sont, de l’aveu même de l’auteur, des extrapolations à partir de tendances, et les experts peuvent être en désaccord sur la facilité avec laquelle on pourrait créer un agent pathogène dangereux. Les dix mesures sont larges, et Suleyman les présente comme un travail de fondation nécessaire, pas comme une carte complète ni des réponses définitives. De nombreux lecteurs éminents cités au début du livre le saluent comme un réveil salutaire et sobre.
À qui s'adresse ce livre ?
Ce livre s’adresse aux lecteurs non spécialistes qui veulent comprendre le débat sur l’IA, les biotechnologies et leur gouvernance, y compris les adolescents plus âgés. Il est clair et écrit pour les non-spécialistes. Ceux qui veulent des détails techniques ou un regard plus sceptique liront d’autres ouvrages sur le sujet.
Résumé traduit de l'anglais avec l'aide de l'IA.
Envie de lire le livre entier ?
Un résumé donne un avant-goût, pas le repas. Voici où trouver le livre complet.
Vous êtes arrivé au bout 🎉
Bravo. Marquez ce livre comme lu et nous vous suggérerons la suite.
À lire ensuite
Superintelligence : Paths, Dangers, Strategies
Nick Bostrom
Le philosophe Nick Bostrom soutient que si les machines deviennent bien plus intelligentes que les humains, elles pourraient acquérir un grand pouvoir, et que, faute de résoudre le problème de leur donner des objectifs sans danger pour l'humanité, le résultat pourrait être catastrophique.
💡 TechnologieCompatible avec l'humain
Stuart Russell
Stuart Russell, pionnier de l'IA, soutient que la manière habituelle de construire l'intelligence artificielle, en donnant aux machines des objectifs fixes, est défaillante et dangereuse, et propose de concevoir des machines incertaines quant aux préférences humaines, qui les apprennent en nous observant.
💡 TechnologieLa vie 3.0 : être humain à l'ère de l'intelligence artificielle
Max Tegmark
Le physicien Max Tegmark explore ce qui se passera quand l'intelligence artificielle égalera puis dépassera l'intelligence humaine, dresse un éventail d'avenirs possibles et soutient qu'il faut réfléchir sérieusement, dès maintenant, à celui que nous voulons.
🔬 SciencesNexus
Yuval Noah Harari
Yuval Noah Harari retrace l'histoire de la manière dont les humains ont partagé l'information, des récits et de l'écriture à l'imprimerie et aux algorithmes, et avertit que l'intelligence artificielle est un réseau d'un genre nouveau, capable de bouleverser les rapports de pouvoir et même de menacer la démocratie.
🏛️ HistoireCo-intelligence
Ethan Mollick
Ethan Mollick, professeur à Wharton, propose un guide pratique pour travailler avec l'IA générative, vue comme une sorte de « co-intelligence » : il explique ce qu'elle fait bien et mal, et donne quatre règles pour s'en servir efficacement et de manière responsable au travail, dans les études et dans la vie.
💡 TechnologieLes Innovateurs
Walter Isaacson
Walter Isaacson raconte l'histoire de la révolution numérique à travers les personnes qui ont inventé l'ordinateur, internet et le Web, et soutient que l'innovation est surtout le fruit de la collaboration, non l'œuvre de génies solitaires.
💡 TechnologieEnvie d'autre chose ?
Choisissez un autre thème et nous vous montrerons trois livres pour commencer.