Compatible avec l'humain
Titre original : Human Compatible
Stuart Russell, pionnier de l'IA, soutient que la manière habituelle de construire l'intelligence artificielle, en donnant aux machines des objectifs fixes, est défaillante et dangereuse, et propose de concevoir des machines incertaines quant aux préférences humaines, qui les apprennent en nous observant.
Présentation
Human Compatible: Artificial Intelligence and the Problem of Control a été publié en 2019 par Stuart Russell, professeur d’informatique à l’université de Californie à Berkeley et coauteur du principal manuel d’intelligence artificielle. Contrairement à beaucoup d’auteurs qui écrivent sur le sujet, c’est un praticien qui a passé des décennies à construire de l’IA. Le livre s’adresse au grand public. Russell y passe en revue les progrès et les promesses de l’IA, explique pourquoi elle pourrait mal tourner et propose une approche nouvelle, qui selon lui peut rendre l’IA bénéfique. Le ton est clair, mesuré et, par endroits, teinté d’ironie.
Résumé complet
1. Les promesses et les progrès de l’IA
L’idée : Russell commence par l’histoire de l’IA et ses réussites récentes, comme les voitures autonomes et les logiciels d’assistant personnel. Il explique que le but du domaine a été de créer des machines capables d’atteindre leurs objectifs, et que le succès serait extrêmement précieux, puisque l’intelligence est le fondement de la civilisation, et qu’une IA de niveau humain pourrait valoir plusieurs milliers de milliards de dollars et accélérer la science. Mais il avertit que ce même succès comporte un risque, car une machine plus capable que nous pourrait être difficile à contrôler.
Dans la vie réelle : De meilleurs outils de traduction et de médecine sont les premiers bienfaits de l’IA.
2. Le problème du gorille
L’idée : Russell recourt au « problème du gorille » (gorilla problem) pour illustrer le danger : les gorilles sont plus forts que les humains, mais leur sort dépend de nous, parce que nous sommes plus intelligents. Si nous créons des machines plus intelligentes que nous, nous pourrions nous retrouver dans la position des gorilles. Il dit qu’il faut se demander si c’est sage, et que nous devons être sûrs de garder le contrôle. Il rejette l’idée que le risque soit impossible, ou qu’il suffise d’éteindre une machine si elle se comporte mal, et il soutient que beaucoup des raisons courantes d’écarter le risque ne tiennent pas.
Dans la vie réelle : Le groupe le moins intelligent dépend souvent de la bonne volonté du plus intelligent.
3. Le défaut du modèle standard
L’idée : Le cœur du livre est une critique du « modèle standard » (standard model) de l’IA, dans lequel on fixe un objectif et la machine l’optimise. Si l’objectif est faux ou incomplet, une machine très capable le poursuivra sans relâche, avec des résultats fâcheux. Il donne l’exemple des algorithmes des réseaux sociaux, conçus pour maximiser les clics, et soutient que l’un des moyens pour un tel système d’y parvenir est de modifier les préférences des utilisateurs, en les rendant plus extrêmes et plus prévisibles. Préciser le bon objectif est très difficile, et nous le ferons rarement parfaitement.
Dans la vie réelle : Un système récompensé pour les clics peut vous proposer des contenus qui vous mettent en colère, parce que cela vous garde devant l’écran.
4. Une approche nouvelle : trois principes
L’idée : Russell propose de concevoir les machines selon trois principes. Premièrement, le seul objectif de la machine est de maximiser la réalisation des préférences humaines. Deuxièmement, la machine est au départ incertaine de ce que sont ces préférences. Troisièmement, la source ultime d’information sur les préférences humaines est le comportement humain. Une machine ainsi construite s’en remettrait aux humains, demanderait la permission et accepterait d’être éteinte, car elle sait qu’elle peut se tromper sur ce que nous voulons. L’incertitude la rend humble.
Dans la vie réelle : Un assistant serviable qui n’est pas sûr de vos souhaits vous demandera avant d’agir.
5. Apprendre les préférences et le bouton d’arrêt
L’idée : L’auteur décrit des idées techniques pour mettre ces principes en pratique, comme l’« apprentissage par renforcement inverse » (inverse reinforcement learning), dans lequel une machine déduit ce que les gens veulent en observant ce qu’ils font, et le « jeu du bouton d’arrêt » (off-switch game), une analyse mathématique montrant qu’une machine incertaine des préférences de l’humain acceptera de se laisser éteindre, puisque le choix de l’humain lui apporte une information. Il discute aussi des problèmes qui se posent : les humains sont incohérents, irrationnels et ont des préférences différentes, voire contradictoires, ce qui rend difficile pour les machines d’apprendre quoi faire.
Dans la vie réelle : Les gens disent souvent une chose et en font une autre, ce qui rend difficile de savoir ce qu’ils veulent vraiment.
6. Mauvais usages, emplois et gouvernance
L’idée : Russell aborde aussi des problèmes plus proches de nous, qu’il traite plus tôt dans le livre que sa proposition : la surveillance et la manipulation, les armes autonomes létales, auxquelles il s’oppose et qu’il voudrait voir interdites, et la perte d’emplois due à l’automatisation. Il met aussi en garde contre une dépendance excessive aux machines, qui pourrait conduire à la perte de connaissances et de compétences humaines. Vers la fin, il appelle à une gouvernance plus stricte de l’IA, affirmant que les sociétés doivent coopérer sur des règles et des normes, et que les chercheurs en IA ont la responsabilité de penser à la sécurité, comme les ingénieurs dans d’autres domaines. Il suggère qu’il faut changer la culture du domaine.
Dans la vie réelle : Il existe des règles pour la conception sûre des ponts, et des règles semblables sont nécessaires pour l’IA.
Pourquoi ce livre compte
Compatible avec l’humain a été très salué et est devenu l’un des principaux plaidoyers en faveur de la sécurité de l’IA venus de l’intérieur même du domaine de l’IA. Comme Russell est un informaticien respecté, ses idées ont pesé auprès de chercheurs qui s’étaient montrés sceptiques face aux inquiétudes exprimées par des philosophes. Les trois principes, et le concept de machines incertaines de nos préférences, ont introduit une approche originale du problème de l’alignement (alignment problem) et ont influencé la recherche. Le livre a aussi touché les responsables politiques et le public, à une époque de progrès rapides de l’IA, et a renforcé les appels à une réglementation, y compris à des limites sur les armes autonomes.
Les idées clés
- Les objectifs fixes sont dangereux. Une machine capable les poursuivra à la lettre.
- Les machines devraient être incertaines de nos objectifs. L’humilité les rend plus sûres.
- Apprendre du comportement humain. Les machines devraient déduire nos préférences.
- Accepter le bouton d’arrêt. L’incertitude signifie qu’une machine acceptera d’être corrigée.
- Agir aussi sur les risques proches. Les armes, la surveillance et l’emploi demandent de l’attention.
Ce que nous pouvons en retenir
Vous pouvez utiliser le livre pour réfléchir aux objectifs intégrés dans la technologie que vous utilisez, et à qui les décide. Demandez-vous si un système optimise ce qu’il mesure plutôt que ce que vous voulez. Soutenez des règles et un débat public sur l’IA, y compris des limites sur les armes autonomes. Renseignez-vous sur les bases du fonctionnement de l’apprentissage automatique. Méfiez-vous à la fois de l’exagération et du rejet. Et rappelez-vous que des technologues, comme Russell, réfléchissent à la manière de rendre l’IA bénéfique, et que l’avis du public compte.
Critiques et points de vue contraires
Certains critiques disent que la proposition de faire apprendre aux machines les préférences humaines se heurte à d’énormes difficultés, car les valeurs humaines sont diverses, contradictoires et changeantes, et l’on ne sait pas dont les préférences comptent. D’autres doutent qu’une machine vraiment intelligente se comporte comme le suggèrent les expériences de pensée du livre, puisqu’une intelligence générale s’accompagnerait de bon sens et de jugement social. Certains disent que Russell se concentre sur les risques à long terme, alors que d’autres pensent que les préjudices actuels méritent plus d’attention. Des sceptiques se demandent si la superintelligence est proche. Un critique a trouvé les parties techniques trop difficiles et les parties philosophiques trop faciles. Beaucoup jugent pourtant le livre précieux.
À qui s'adresse ce livre ?
Ce livre s’adresse au grand public qui veut un exposé clair et faisant autorité, par un expert, sur le risque de l’IA, y compris les adolescents plus âgés. Il est accessible, avec quelques parties techniques expliquées simplement. Ceux qui veulent les arguments philosophiques plus en profondeur pourront lire Superintelligence de Bostrom.
Résumé traduit de l'anglais avec l'aide de l'IA ; la relecture par des lecteurs est en cours.
Envie de lire le livre entier ?
Un résumé donne un avant-goût, pas le repas. Voici où trouver le livre complet.
Vous êtes arrivé au bout 🎉
Bravo. Marquez ce livre comme lu et nous vous suggérerons la suite.
À lire ensuite
Superintelligence : Paths, Dangers, Strategies
Nick Bostrom
Le philosophe Nick Bostrom soutient que si les machines deviennent bien plus intelligentes que les humains, elles pourraient acquérir un grand pouvoir, et que, faute de résoudre le problème de leur donner des objectifs sans danger pour l'humanité, le résultat pourrait être catastrophique.
💡 TechnologieLa vie 3.0 : être humain à l'ère de l'intelligence artificielle
Max Tegmark
Le physicien Max Tegmark explore ce qui se passera quand l'intelligence artificielle égalera puis dépassera l'intelligence humaine, dresse un éventail d'avenirs possibles et soutient qu'il faut réfléchir sérieusement, dès maintenant, à celui que nous voulons.
🔬 SciencesLa Vague à venir
Mustafa Suleyman with Michael Bhaskar
Mustafa Suleyman, cofondateur de l'entreprise d'IA DeepMind, soutient qu'une vague à venir, faite d'intelligence artificielle et de biologie de synthèse, apportera d'immenses bienfaits et de graves dangers, et qu'il paraît impossible de contenir ces technologies, mais qu'il faut pourtant trouver le moyen d'y arriver.
💡 TechnologieAlgorithmes : la bombe à retardement
Cathy O'Neil
La mathématicienne et ancienne analyste de fonds spéculatif Cathy O'Neil montre comment des algorithmes secrets et sans responsabilité, utilisés à l'école, au travail, dans la police, le crédit et l'assurance, peuvent entretenir discrètement l'injustice tout en paraissant objectifs, et elle les appelle des « armes de destruction mathématique » (*weapons of math destruction*).
💡 TechnologieCo-intelligence
Ethan Mollick
Ethan Mollick, professeur à Wharton, propose un guide pratique pour travailler avec l'IA générative, vue comme une sorte de « co-intelligence » : il explique ce qu'elle fait bien et mal, et donne quatre règles pour s'en servir efficacement et de manière responsable au travail, dans les études et dans la vie.
💡 TechnologieLes Innovateurs
Walter Isaacson
Walter Isaacson raconte l'histoire de la révolution numérique à travers les personnes qui ont inventé l'ordinateur, internet et le Web, et soutient que l'innovation est surtout le fruit de la collaboration, non l'œuvre de génies solitaires.
💡 TechnologieEnvie d'autre chose ?
Choisissez un autre thème et nous vous montrerons trois livres pour commencer.