Algorithmes : la bombe à retardement
Titre original : Weapons of Math Destruction
La mathématicienne et ancienne analyste de fonds spéculatif Cathy O'Neil montre comment des algorithmes secrets et sans responsabilité, utilisés à l'école, au travail, dans la police, le crédit et l'assurance, peuvent entretenir discrètement l'injustice tout en paraissant objectifs, et elle les appelle des « armes de destruction mathématique » (*weapons of math destruction*).
Présentation
Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy a été publié en 2016 par Cathy O’Neil, titulaire d’un doctorat de mathématiques, qui a travaillé comme analyste quantitative dans un fonds spéculatif pendant la crise financière, avant de devenir spécialiste des données et écrivaine. Elle explique qu’elle a quitté la finance parce qu’elle avait vu que des modèles mathématiques pouvaient faire du mal tout en bénéficiant d’une aura d’autorité scientifique. Chaque chapitre examine un domaine différent de la vie où des systèmes de notation trient les gens, comme l’éducation, l’embauche, la justice et le crédit. Le livre est en colère mais clair, et écrit pour le grand public.
Résumé complet
1. Ce qui fait d’un modèle une arme
L’idée : O’Neil commence par son propre parcours en finance, où elle a vu la confiance placée dans les modèles mathématiques contribuer à la crise de 2008. Elle définit ensuite le problème. Un modèle nocif, dit-elle, a trois caractéristiques : il est opaque, de sorte que les personnes qu’il note ne peuvent ni voir ni remettre en question son fonctionnement ; il opère à grande échelle et touche beaucoup de monde ; et il fait des dégâts, souvent en pénalisant les pauvres et en récompensant ceux qui sont déjà avantagés. Un bon modèle, au contraire, est transparent, équitable et ouvert à la correction.
Dans la vie réelle : Si une note décide de l’octroi d’un prêt et que personne ne peut vous dire comment elle a été calculée, vous ne pouvez pas la contester.
2. Les boucles de rétroaction qui piègent les gens
L’idée : L’auteure explique comment certains modèles créent leur propre réalité. Un système qui désigne certains quartiers pour une surveillance policière accrue y trouvera davantage de petite délinquance, puisque la police y est présente, et les nouvelles données semblent confirmer que le quartier est dangereux, ce qui y envoie encore plus d’agents. De même, une personne notée comme à haut risque peut se voir refuser des opportunités, ce qui aggrave sa situation et semble donner raison à la note. Ces boucles qui se renforcent d’elles-mêmes sont particulièrement difficiles à voir de l’intérieur.
Dans la vie réelle : Un élève étiqueté comme un mauvais pari peut recevoir moins de chances, donc avoir moins de réussites, ce qui a l’air d’une confirmation.
3. Les écoles, les classements et la notation des enseignants
L’idée : O’Neil s’intéresse à l’usage des données dans l’éducation. Les classements d’universités, dit-elle, poussent les établissements à courir après des indicateurs mesurables et à dépenser beaucoup pour grimper dans les listes, ce qui a contribué à faire monter les coûts. Elle décrit aussi des systèmes qui évaluent les enseignants à partir de l’évolution des résultats de leurs élèves aux tests, ce qui peut être statistiquement peu fiable pour une seule classe, et pourtant a servi à licencier des enseignants. Les chiffres avaient de l’autorité, bien que les échantillons sous-jacents aient été petits et bruyants.
Dans la vie réelle : Un enseignant peut être jugé sur un chiffre qui monte et descend en grande partie par hasard.
4. Le travail, l’embauche et les horaires
L’idée : Le livre se tourne vers l’emploi. Beaucoup d’employeurs utilisent des logiciels pour trier les candidatures, et des tests de personnalité qui peuvent écarter des candidats, y compris des personnes souffrant de troubles psychiques, sans la moindre explication humaine. Les logiciels de planification pour les travailleurs à bas salaire ajustent les horaires à la demande, ce qui sert l’efficacité de l’entreprise mais rend très difficile pour les salariés d’organiser la garde d’enfants, des études ou un second emploi. O’Neil soutient que ces systèmes traitent les gens comme des éléments à optimiser.
Dans la vie réelle : Une employée à qui l’on ne donne son planning que quelques jours à l’avance ne peut pas organiser sa vie.
5. Le crédit, l’assurance et les pauvres
L’idée : Dans la finance et l’assurance, dit-elle, des courtiers en données collectent d’énormes quantités d’informations, et les entreprises s’en servent pour cibler ou noter les gens. Des prêteurs prédateurs et des établissements d’enseignement supérieur à but lucratif peuvent adresser leur publicité aux plus vulnérables. Utiliser les scores de crédit et d’autres indicateurs indirects pour l’embauche ou le prix des assurances peut pénaliser les pauvres deux fois. Les riches ont plus souvent affaire à des personnes, tandis que les pauvres sont traités par des machines, et ces machines font des erreurs difficiles à corriger.
Dans la vie réelle : Quelqu’un qui a une mauvaise note à cause de difficultés passées peut payer plus cher son assurance, ce qui rend le redressement plus difficile.
6. La démocratie et ce qu’il faut faire
L’idée : Dans les derniers chapitres, O’Neil aborde la politique. Les campagnes, dit-elle, peuvent cibler les électeurs avec des messages personnalisés invisibles pour les autres, ce qui peut miner un débat public partagé. Les fils des réseaux sociaux peuvent aussi façonner ce que les gens voient. Elle conclut par des propositions : que les concepteurs de modèles prêtent un serment éthique, comme les médecins ; que les modèles soient audités pour vérifier leur équité ; que les régulateurs exigent la transparence dans des domaines comme le crédit, l’assurance et la notation de solvabilité ; et que des auditeurs extérieurs, et pas seulement des employés de l’entreprise, examinent les algorithmes importants. L’efficacité, soutient-elle, devrait parfois céder le pas aux valeurs humaines, et les données peuvent aider les gens lorsqu’elles sont utilisées ouvertement et équitablement.
Dans la vie réelle : Tester un outil de recrutement pour voir s’il écarte injustement certains groupes est un exemple concret d’audit.
Pourquoi ce livre compte
Algorithmes : la bombe à retardement a été un best-seller du New York Times et est devenu l’un des principaux ouvrages grand public sur les biais algorithmiques. Il a figuré sur la liste longue du National Book Award dans la catégorie non-fiction, et il a influencé des journalistes, des chercheurs et des législateurs qui commençaient à se demander comment réglementer les décisions automatisées. L’expression de son titre est entrée dans l’usage courant. Sa principale contribution a été de montrer que les algorithmes ne sont pas neutres, parce qu’ils sont conçus par des personnes, entraînés sur des données du passé et pensés pour des objectifs qui peuvent entrer en conflit avec l’équité. Il a aidé à ouvrir un champ de travail sur l’audit, la responsabilité et l’éthique de la science des données, et il reste une introduction de référence.
Les idées clés
- L’opacité rend le préjudice difficile à contester. On ne peut pas contester une note qu’on ne voit pas.
- L’échelle multiplie les erreurs. Un seul modèle défectueux peut toucher des millions de personnes à la fois.
- Les boucles de rétroaction figent le désavantage. Les prédictions peuvent créer les résultats qu’elles prédisent.
- Les modèles encodent des choix humains. Les données et les objectifs reflètent les valeurs de ceux qui les conçoivent.
- L’audit et la transparence sont essentiels. Des systèmes équitables demandent des tests, des explications et des recours.
Ce que nous pouvons en retenir
Ce livre peut vous aider à poser de meilleures questions chaque fois qu’une note ou un classement sert à prendre une décision vous concernant, ou concernant quelqu’un d’autre. Qui l’a conçu, quelles données utilise-t-il, qu’optimise-t-il, et quelqu’un peut-il faire appel ? Méfiez-vous de l’idée de traiter un chiffre comme objectif sous prétexte qu’il est mathématique. Si vous travaillez avec des données, réfléchissez à la façon dont les erreurs et les biais pourraient nuire aux gens, et testez-les. Soutenez les règles qui exigent l’explication et le réexamen des décisions automatisées, et rappelez-vous qu’un modèle n’est équitable que dans la mesure où les choix qui le sous-tendent le sont.
Critiques et points de vue contraires
Certains critiques disent qu’O’Neil s’appuie sur une poignée d’exemples frappants et mélange parfois des problèmes différents, comme de mauvaises données, une mauvaise conception et un usage délibérément abusif, si bien que le tableau est plus unilatéral que ne le justifient les preuves. D’autres font remarquer que les décideurs humains sont eux aussi biaisés et opaques, et que des algorithmes bien conçus peuvent réduire les incohérences, ce à quoi le livre accorde peu de crédit. Certains spécialistes des données trouvent le mot « arme » trop général, et estiment que quelques cas sont décrits sans assez de détails techniques. Les partisans répondent que les enjeux des décisions automatisées justifient un examen rigoureux.
À qui s'adresse ce livre ?
Ce livre s’adresse à toute personne qui veut comprendre comment les algorithmes influent sur l’équité dans la vie quotidienne, étudiants, enseignants, responsables et citoyens compris. Il est accessible et ne recourt presque pas aux mathématiques. Les lecteurs qui veulent des méthodes techniques pour mesurer les biais pourront ensuite se tourner vers des textes plus spécialisés.
Résumé traduit de l'anglais avec l'aide de l'IA.
Envie de lire le livre entier ?
Un résumé donne un avant-goût, pas le repas. Voici où trouver le livre complet.
Vous êtes arrivé au bout 🎉
Bravo. Marquez ce livre comme lu et nous vous suggérerons la suite.
À lire ensuite
L’Âge du capitalisme de surveillance
Shoshana Zuboff
La professeure de Harvard Shoshana Zuboff soutient que les grandes entreprises technologiques ont créé un nouveau type de capitalisme qui collecte d'énormes quantités de données personnelles, les transforme en prédictions de nos comportements et les vend, ce qui menace la vie privée, l'autonomie et la démocratie.
⚖️ Politique et sociétéCompatible avec l'humain
Stuart Russell
Stuart Russell, pionnier de l'IA, soutient que la manière habituelle de construire l'intelligence artificielle, en donnant aux machines des objectifs fixes, est défaillante et dangereuse, et propose de concevoir des machines incertaines quant aux préférences humaines, qui les apprennent en nous observant.
💡 TechnologieComment mentir avec les statistiques
Darrell Huff
Darrell Huff montre, dans un tour d'horizon léger et plein d'esprit des ruses employées par les publicitaires, les journalistes et d'autres, comment les chiffres, les graphiques et les moyennes peuvent tromper, afin que les lecteurs apprennent à repérer la supercherie.
🔬 SciencesPenser en algorithmes : ou les leçons de l'informatique pour se faciliter le quotidien
Brian Christian and Tom Griffiths
L'écrivain Brian Christian et le spécialiste des sciences cognitives Tom Griffiths montrent comment des idées issues de l'informatique, comme l'arrêt optimal, le tri, la mise en cache et l'ordonnancement, offrent des conseils pratiques pour les décisions de tous les jours concernant le temps, l'espace, les choix et les autres.
💡 TechnologieLe Signal et le Bruit
Nate Silver
Le statisticien et prévisionniste électoral Nate Silver explique pourquoi la plupart des prédictions échouent, et montre que mieux prévoir passe par le raisonnement en probabilités, la mise à jour à mesure que de nouvelles preuves arrivent et l'humilité face à l'incertitude.
🔬 SciencesLes Innovateurs
Walter Isaacson
Walter Isaacson raconte l'histoire de la révolution numérique à travers les personnes qui ont inventé l'ordinateur, internet et le Web, et soutient que l'innovation est surtout le fruit de la collaboration, non l'œuvre de génies solitaires.
💡 TechnologieEnvie d'autre chose ?
Choisissez un autre thème et nous vous montrerons trois livres pour commencer.