Le Signal et le Bruit

Titre original : The Signal and the Noise

Dès 13 ans9 min de lecturestatistiquesprévisionsciences sociales
Se procurer le livre ↓

Le statisticien et prévisionniste électoral Nate Silver explique pourquoi la plupart des prédictions échouent, et montre que mieux prévoir passe par le raisonnement en probabilités, la mise à jour à mesure que de nouvelles preuves arrivent et l'humilité face à l'incertitude.

Présentation

The Signal and the Noise: Why So Many Predictions Fail, But Some Don’t a été publié en 2012 par Nate Silver, qui s’était fait connaître en mettant au point un système de prévision des performances au baseball, puis avec son blog politique, FiveThirtyEight, qui avait correctement annoncé 49 États sur 50 à l’élection présidentielle américaine de 2008 et, quelques semaines après la parution du livre, les 50 États en 2012. Dans le livre, il examine la prévision dans de nombreux domaines : la crise financière de 2008, la météo, les séismes, l’économie, les maladies, les échecs, le baseball, le poker, la politique, le climat et le terrorisme. Il se demande pourquoi certaines prévisions réussissent et d’autres échouent, et propose une philosophie fondée sur le raisonnement bayésien (Bayesian reasoning). Le livre est plein d’exemples et écrit sur un ton de conversation.

Résumé complet

1. Pourquoi nous échouons : un échec catastrophique de la prévision

L’idée : Silver ouvre sur la crise financière de 2007-2008. Des agences de notation comme Standard & Poor’s ont attribué à certains titres adossés à des prêts immobiliers les meilleures notes de sécurité et ont gravement sous-estimé leur risque, et les responsables et les économistes n’ont pas vu la bulle immobilière pour ce qu’elle était. Il distingue le risque, qui peut être mesuré, de l’incertitude, qui est difficile à mesurer, et dit que les agences ont traité des produits nouveaux et non éprouvés comme si leurs risques étaient connus. Il adresse le même reproche aux prévisions économiques assurées faites par le gouvernement début 2009. À l’aide d’une image de tir à la cible, il montre qu’une prévision peut être précise sans être exacte : des tirs qui tombent toujours au même endroit sont réguliers, mais s’ils manquent le centre, ils ne sont pas exacts. Les prévisionnistes, dit-il, affichent souvent de la certitude pour protéger leur réputation, alors que les meilleures prédictions commencent par l’aveu de l’incertitude et des biais.

Dans la vie réelle : Un chiffre assuré et d’apparence exacte n’est pas la même chose qu’un chiffre correct.

2. Experts médiatiques, hérissons et renards

L’idée : Silver se tourne vers les recherches de Philip Tetlock, qui a constaté que beaucoup de prédictions d’experts sur la politique n’étaient pas meilleures que le hasard. Tetlock a divisé les penseurs en hérissons (hedgehogs), qui ont quelques grandes idées et les appliquent partout, et en renards (foxes), qui puisent dans de nombreuses sources et changent d’avis devant de nouvelles informations. Les hérissons s’en sortaient moins bien, et ils avaient tendance à rejeter la faute de leurs erreurs sur des facteurs extérieurs, alors que les renards assumaient leurs erreurs. Silver énumère les habitudes des bons prévisionnistes : penser en probabilités, s’adapter et rester ouvert à plusieurs points de vue, et il dit qu’il essaie de travailler ainsi lui-même. Il oppose cela aux commentateurs de télévision, comme ceux de The McLaughlin Group, qui, à son avis, ne cherchent pas vraiment à faire des prédictions exactes.

Dans la vie réelle : Quelqu’un qui change sa prévision quand les faits changent est en général plus fiable que quelqu’un qui ne le fait jamais.

3. Baseball et poker : modèles, recruteurs et méthode

L’idée : Silver décrit son propre système de baseball, PECOTA, à l’époque rendue célèbre par Moneyball. Les modèles de ce genre étudient les statistiques des joueurs, corrigent la chance et le vieillissement, et comparent les joueurs à des joueurs semblables du passé. Il soutient qu’ils n’ont pas remplacé les recruteurs, qui voient ce que les chiffres manquent, comme le comportement d’un joueur, et que la meilleure prévision utilise les deux. Il donne l’exemple de Dustin Pedroia, un joueur que PECOTA notait bien mais dont les recruteurs doutaient. Silver a aussi joué au poker à titre professionnel pendant un temps, et il décrit le boom du poker qui a commencé vers 2003, quand de nombreux joueurs inexpérimentés permettaient à des joueurs un peu meilleurs de faire des profits. Les bons joueurs raisonnent en probabilités conditionnelles, y compris sur ce que leurs adversaires pourraient calculer. Comme la chance joue un grand rôle à court terme, dit-il, il faut juger les décisions à la qualité de la méthode et pas seulement aux résultats.

Dans la vie réelle : Un bon joueur juge une décision d’après les probabilités, pas seulement d’après le résultat.

4. La météo : une réussite

L’idée : L’auteur présente la prévision météo comme un domaine qui s’est beaucoup amélioré ces dernières décennies, surtout grâce à des ordinateurs plus rapides. Les prévisionnistes humains apportent encore une valeur ajoutée en corrigeant les résultats de l’ordinateur, surtout pour la pluie. La météo est un système chaotique : de petites erreurs dans les données de départ peuvent donc grandir en grosses erreurs dans le résultat, mais les météorologues donnent des probabilités, comme trente pour cent de chances de pluie, et vérifient si ces probabilités étaient bien calibrées. Il se penche aussi sur l’ouragan Katrina, pour lequel les prévisions étaient bonnes mais la réponse ne l’a pas été.

Dans la vie réelle : Une prévision de pluie à « 70 pour cent » devrait se révéler juste environ sept fois sur dix.

5. Séismes et économie

L’idée : À l’inverse, les séismes ne peuvent pas être prédits en temps et en lieu. Les sismologues peuvent estimer la probabilité de séismes dans une région sur une longue période, mais pas dire quand l’un d’eux frappera. Les données sont bruitées et les systèmes mal compris, si bien qu’il est facile de trouver des motifs qui ne sont pas réels, une erreur appelée surajustement (overfitting). Silver cite le tsunami de 2011 à la centrale nucléaire de Fukushima, au Japon, comme un cas où les preuves passées de grands événements n’ont pas reçu assez de poids. Il juge aussi la prévision économique médiocre. Le titre de ce chapitre renvoie à l’inondation de 1997 à Grand Forks, dans le Dakota du Nord, où l’incertitude d’une prévision n’avait pas été clairement indiquée. Une économie est un système complexe où la cause et l’effet sont difficiles à séparer, et les prévisionnistes peuvent confondre corrélation et causalité et protéger leur réputation aux dépens de l’exactitude. Il voit des promesses dans les marchés de prédiction, où les gens engagent de l’argent derrière leurs prévisions.

Dans la vie réelle : Quand beaucoup de gens font des suppositions, quelqu’un finira par avoir raison par chance, ce qui ne prouve rien sur son talent.

6. Les maladies et le théorème de Bayes

L’idée : Les épidémiologistes travaillent là où les erreurs coûtent des vies, et Silver les présente donc comme des modèles de prudence. Il rappelle la panique de la grippe porcine de 1976 aux États-Unis, quand les autorités attendaient une épidémie et que le président Ford a soutenu un programme de vaccination précipité ; l’épidémie n’est jamais venue. Les prévisions peuvent se réaliser d’elles-mêmes ou s’annuler d’elles-mêmes, parce que les gens y réagissent. L’idée centrale du livre est alors la pensée bayésienne, du nom du pasteur du XVIIIe siècle Thomas Bayes : partir d’une croyance préalable (prior) sur la probabilité de quelque chose, puis la mettre à jour à mesure que de nouvelles preuves arrivent. Silver l’oppose à l’approche fréquentiste de Ronald Fisher, qui a dominé la statistique du XXe siècle, et soutient qu’elle a contribué à de nombreux faux positifs, en citant John Ioannidis sur la part de la recherche publiée qui est défaillante.

Dans la vie réelle : Si vous entendez une rumeur, vous pesez d’abord sa vraisemblance de départ, puis vous ajustez à mesure que vous en apprenez davantage.

7. Ordinateurs, groupes et marchés

L’idée : À partir de récits de parties d’échecs entre humains et machines, Silver soutient que les ordinateurs font exactement ce pour quoi ils sont programmés. Ils excellent là où les règles sont claires et où le calcul rapide compte, comme aux échecs et en météo, mais peinent avec les systèmes désordonnés comme l’économie ou les séismes, et les angles morts d’un prévisionniste risquent d’être recopiés dans le programme. Sur le marché boursier, il constate que les prévisions de groupe faites indépendamment tendent à battre les prévisions individuelles, mais pas toujours le meilleur individu. Les opérateurs suivent souvent le troupeau, et les institutions jugées sur des résultats à court terme aident les bulles à se former. Nous ne repérerons jamais une bulle, dit-il, si nous supposons que le prix est toujours le bon.

Dans la vie réelle : Une foule qui pense de la même façon n’est pas une foule qui vérifie ses réponses.

8. Climat, terrorisme et limites du savoir

L’idée : À propos du changement climatique, Silver dit que l’effet de serre existe presque certainement, que les émissions humaines de dioxyde de carbone s’y ajoutent, et que la planète va très probablement se réchauffer, même si les effets sont moins certains et que les scientifiques ne s’accordent pas sur la fiabilité des modèles climatiques. La politique ajoute du bruit, car certaines prévisions agressives viennent d’erreurs de modélisation et d’autres d’efforts pour influencer les politiques publiques, et le public lit souvent l’incertitude scientifique comme une faiblesse. À propos du terrorisme, il dit qu’il est très difficile de distinguer le signal du bruit avant un attentat, et que les gens jugent invraisemblable ce qui est étrange. Le schéma des attentats suit une loi de puissance (power law), dans laquelle des événements rares et très importants se produisent bel et bien, de sorte que les analystes devraient imaginer des attaques plus grandes et prendre au sérieux les signes qui les annoncent. Le pire échec, ajoute-t-il, est de ne faire aucune prédiction. Il conclut en disant que les gens ont tendance à se croire bons en prédiction, et qu’une approche bayésienne, honnête sur l’incertitude et prête à réviser, est la voie du progrès.

Dans la vie réelle : Un prévisionniste qui dit ce qui pourrait changer sa prévision vous donne un tableau plus complet.

Pourquoi ce livre compte

Le Signal et le Bruit a atteint la liste des best-sellers du New York Times, a été désigné meilleur livre de non-fiction de 2012 par Amazon et a remporté en 2013 le prix du livre scientifique de la Phi Beta Kappa Society. C’est une des principales introductions grand public à la prévision, aux probabilités et à la pensée bayésienne, et il a contribué à faire entrer le raisonnement statistique dans le débat public, surtout en période électorale. Le livre a mis en valeur l’humilité, les probabilités et la vérification, et montré comment l’excès de confiance et les incitations faussent les prédictions. Il s’appuie sur les recherches de Philip Tetlock sur le jugement des experts, et c’est une lecture utile pour quiconque doit juger des prévisions de toute sorte, dans les affaires, le journalisme, la politique ou le sport.

Les idées clés

  • Séparez le signal du bruit. Tous les motifs d’un ensemble de données ne sont pas réels ou significatifs.
  • Pensez en probabilités. Évitez la fausse certitude, et dites à quel point vous êtes sûr.
  • Mettez à jour avec de nouvelles preuves. La pensée bayésienne aide à ajuster progressivement votre opinion.
  • Testez les prévisions. Les domaines qui vérifient leurs résultats, comme la météo, s’améliorent avec le temps.
  • Soyez humble. Connaissez les limites du savoir, surtout sur les systèmes complexes.

Ce que nous pouvons en retenir

Vous pouvez commencer par exprimer vos propres prédictions sous forme de probabilités, et vérifier à quelle fréquence elles se réalisent. Quand vous voyez un motif frappant dans des données, demandez-vous s’il pourrait être dû au hasard. Méfiez-vous des prévisions assurées de commentateurs qui n’en subissent pas les conséquences. Révisez vos opinions quand de nouvelles preuves arrivent, mais évitez de réagir de façon excessive à chaque nouvelle. Et apprenez les bases des statistiques, qui aident à lire l’actualité de façon plus critique. Combiner chiffres et jugement est une bonne habitude.

Critiques et points de vue contraires

Le climatologue Michael Mann a reproché au livre de traiter la science physique du climat avec la même approche que les préférences des électeurs, en s’appuyant sur des hypothèses qu’il jugeait subjectives et invérifiables. Comme le livre est écrit pour le grand public et laisse de côté l’essentiel des mathématiques, ainsi que l’a noté un critique admiratif, il ne peut pas traiter en profondeur chaque méthode statistique, et les méthodes bayésiennes ont leurs propres difficultés, comme le choix des croyances préalables. Les prévisions ultérieures de Silver ont aussi alimenté le débat sur les probabilités : son modèle de 2016 donnait à Donald Trump environ 29 pour cent de chances, plus que d’autres grands prévisionnistes, et Trump a gagné. Un résultat avec de telles probabilités est parfaitement possible, et l’épisode a montré à quel point on confond souvent probabilités et prédictions. Malgré tout, le message principal du livre est très apprécié.

À qui s'adresse ce livre ?

Ce livre s’adresse aux lecteurs intéressés par les données, la prévision, le sport et la politique. Il est captivant et demande peu de mathématiques. Ceux qui veulent un traitement rigoureux des statistiques ou des probabilités pourront consulter un manuel.

Résumé traduit de l'anglais avec l'aide de l'IA.

Envie de lire le livre entier ?

Un résumé donne un avant-goût, pas le repas. Voici où trouver le livre complet.

Vous êtes arrivé au bout 🎉

Bravo. Marquez ce livre comme lu et nous vous suggérerons la suite.

À lire ensuite

Superprévision : L'art et la science de la prédiction

Philip E. Tetlock and Dan Gardner

Le politologue Philip Tetlock et le journaliste Dan Gardner rendent compte d'un projet de recherche qui a montré que certaines personnes ordinaires prédisent les événements mondiaux mieux que les experts, et décrivent les habitudes qui les rendent si performantes.

🧩 Esprit et psychologie

On parie ?

Annie Duke

L'ancienne joueuse de poker professionnelle Annie Duke soutient que les décisions de la vie sont des paris faits avec des informations incomplètes, et montre comment les juger sur leur qualité plutôt que sur leurs résultats, en pensant en probabilités et en apprenant avec l'aide de groupes honnêtes.

🧩 Esprit et psychologie

Comment mentir avec les statistiques

Darrell Huff

Darrell Huff montre, dans un tour d'horizon léger et plein d'esprit des ruses employées par les publicitaires, les journalistes et d'autres, comment les chiffres, les graphiques et les moyennes peuvent tromper, afin que les lecteurs apprennent à repérer la supercherie.

🔬 Sciences

Moneyball: The Art of Winning an Unfair Game

Michael Lewis

Michael Lewis raconte comment les Oakland Athletics, une équipe de baseball au petit budget, ont utilisé les statistiques pour repérer des joueurs négligés et rivaliser avec des équipes plus riches, et comment cela a remis en cause de vieilles croyances sur le talent.

💼 Entreprise

Le Casse du siècle

Michael Lewis

Michael Lewis suit une poignée d'investisseurs atypiques qui, avant la crise financière de 2008, ont compris que le boom immobilier américain était une bulle, ont parié contre lui, et ont découvert à quel point le système financier s'était trompé sur ses propres risques.

💼 Entreprise

Une brève histoire du temps

Stephen Hawking

L'un des plus grands physiciens du monde explique, presque sans mathématiques, ce que nous savons de l'origine, de la structure et du destin de l'Univers, du Big Bang aux trous noirs et à la nature du temps lui-même.

🔬 Sciences

Envie d'autre chose ?

Choisissez un autre thème et nous vous montrerons trois livres pour commencer.

Livres affichés pour :
Parcourir tous les livres →