O Sinal e o Ruído
Título original: The Signal and the Noise
O estatístico e previsor de eleições Nate Silver explica por que a maioria das previsões falha e mostra que prever melhor depende de pensar em probabilidades, atualizar as crenças com novas evidências e ser humilde diante da incerteza.
Apresentação
The Signal and the Noise: Why So Many Predictions Fail, But Some Don’t foi publicado em 2012 por Nate Silver, que ficou conhecido por desenvolver um sistema para prever o desempenho no beisebol e, depois, por seu blog político, o FiveThirtyEight, que acertou 49 dos 50 estados na eleição presidencial americana de 2008 e, poucas semanas depois do lançamento do livro, os 50 estados em 2012. No livro, ele examina a previsão em muitas áreas: a crise financeira de 2008, o clima, os terremotos, a economia, as doenças, o xadrez, o beisebol, o pôquer, a política, o clima do planeta e o terrorismo. Ele pergunta por que algumas previsões dão certo e outras fracassam e propõe uma filosofia baseada no raciocínio bayesiano. O livro é cheio de exemplos e escrito em estilo de conversa.
Resumo completo
1. Por que falhamos: uma falha catastrófica de previsão
A ideia: Silver abre com a crise financeira de 2007-2008. Agências de classificação de risco, como a Standard & Poor’s, deram a certos títulos lastreados em hipotecas as notas máximas de segurança e subestimaram muito o seu risco, e autoridades e economistas não enxergaram a bolha imobiliária pelo que ela era. Ele separa o risco, que pode ser medido, da incerteza, que é difícil de medir, e diz que as agências trataram produtos novos e não testados como se seus riscos fossem conhecidos. Faz a mesma acusação às previsões econômicas confiantes feitas pelo governo no início de 2009. Usando a imagem do tiro ao alvo, mostra que uma previsão pode ser precisa sem ser exata: tiros que caem sempre no mesmo ponto são consistentes, mas, se erram o centro do alvo, não são exatos. Os previsores, diz ele, muitas vezes projetam certeza para proteger a reputação, quando as melhores previsões começam por admitir a incerteza e o viés.
Na vida real: Um número confiante e de som exato não é a mesma coisa que um número correto.
2. Comentaristas, ouriços e raposas
A ideia: Silver recorre à pesquisa de Philip Tetlock, que descobriu que muitas previsões de especialistas sobre política não eram melhores que o acaso. Tetlock dividiu os pensadores em ouriços, que têm algumas grandes ideias e as aplicam em toda parte, e raposas, que se valem de muitas fontes e mudam de ideia diante de novas informações. Os ouriços se saíram pior e tendiam a culpar fatores externos por seus erros, enquanto as raposas assumiam os seus. Silver lista os hábitos dos bons previsores como pensar em probabilidades, adaptar-se e estar aberto a várias perspectivas, e diz que tenta trabalhar assim. Ele contrasta isso com os comentaristas de televisão, como os do programa The McLaughlin Group, que, na sua opinião, não estão realmente tentando fazer previsões exatas.
Na vida real: Quem muda de previsão quando os fatos mudam costuma ser mais confiável do que quem nunca muda.
3. Beisebol e pôquer: modelos, olheiros e processo
A ideia: Silver descreve o seu próprio sistema de beisebol, o PECOTA, na época que Moneyball tornou famosa. Modelos desse tipo estudam o histórico dos jogadores, ajustam para a sorte e o envelhecimento e comparam os jogadores com outros semelhantes do passado. Ele argumenta que eles não substituíram os olheiros, que enxergam o que os números deixam passar, como o comportamento de um jogador, e que a melhor previsão usa os dois. Dá o exemplo de Dustin Pedroia, jogador bem avaliado pelo PECOTA, mas de quem os olheiros duvidavam. Silver também jogou pôquer profissionalmente por um tempo e descreve o boom do pôquer que começou por volta de 2003, quando muitos jogadores inexperientes facilitavam o lucro de jogadores um pouco melhores. Bons jogadores pensam em probabilidades condicionais, incluindo o que os adversários podem estar calculando. Como a sorte tem um peso grande no curto prazo, diz ele, é preciso julgar as decisões pela qualidade do processo, e não apenas pelos resultados.
Na vida real: Um bom jogador julga uma decisão pelas chances, e não apenas pelo resultado.
4. Clima: uma história de sucesso
A ideia: O autor apresenta a previsão do tempo como uma área que melhorou muito nas últimas décadas, principalmente graças a computadores mais rápidos. Os previsores humanos ainda agregam valor ao corrigir o resultado do computador, em especial no caso da chuva. O tempo é um sistema caótico, de modo que pequenos erros nos dados iniciais podem crescer e virar grandes erros no resultado, mas os meteorologistas dão probabilidades, como trinta por cento de chance de chuva, e verificam se essas probabilidades eram bem calibradas. Ele também examina o furacão Katrina, no qual as previsões foram boas, mas a resposta não foi.
Na vida real: Uma previsão de chuva que diz “70 por cento” deve acertar cerca de sete vezes em dez.
5. Terremotos e economia
A ideia: Em contraste, os terremotos não podem ser previstos no tempo e no lugar. Os sismólogos conseguem estimar a probabilidade de terremotos em uma região ao longo de um período longo, mas não dizer quando um vai acontecer. Os dados são ruidosos e os sistemas, mal compreendidos, de modo que é fácil encontrar padrões que não são reais, um erro chamado de sobreajuste (overfitting). Silver aponta o tsunami de 2011 na usina nuclear de Fukushima, no Japão, como um caso em que as evidências passadas de grandes eventos não receberam peso suficiente. A previsão econômica ele também considera ruim. O título desse capítulo remete à enchente de 1997 em Grand Forks, na Dakota do Norte, em que a incerteza de uma previsão não foi deixada clara. Uma economia é um sistema complexo em que causa e efeito são difíceis de separar, e os previsores podem confundir correlação com causalidade e proteger a reputação à custa da exatidão. Ele vê promessa nos mercados de previsão, nos quais as pessoas põem dinheiro por trás de suas previsões.
Na vida real: Com muita gente chutando, alguém vai acabar acertando por sorte, o que não prova habilidade nenhuma.
6. Doenças e o teorema de Bayes
A ideia: Os epidemiologistas trabalham onde os erros custam vidas, e por isso Silver os trata como exemplos de cautela. Ele lembra o susto da gripe suína de 1976 nos Estados Unidos, quando as autoridades esperavam uma epidemia e o presidente Ford apoiou um programa de vacinação apressado; a epidemia nunca veio. As previsões podem ser autorrealizáveis ou autoanuláveis, porque as pessoas reagem a elas. A ideia central do livro é então o pensamento bayesiano, que leva o nome do pastor do século XVIII Thomas Bayes: comece com uma crença prévia sobre a probabilidade de algo e a atualize conforme chegam novas evidências. Silver contrasta isso com a abordagem frequentista de Ronald Fisher, que dominou a estatística do século XX, e argumenta que ela contribuiu para muitos falsos positivos, citando John Ioannidis sobre quanta pesquisa publicada é falha.
Na vida real: Se você ouve um boato, pesa o quanto ele era provável antes e depois ajusta conforme aprende mais.
7. Computadores, grupos e mercados
A ideia: Usando relatos de partidas de xadrez entre pessoas e máquinas, Silver argumenta que os computadores fazem exatamente o que foram programados para fazer. Eles se destacam onde as regras são claras e o cálculo rápido importa, como no xadrez e no clima, mas têm dificuldade com sistemas bagunçados como a economia ou os terremotos, e os pontos cegos de um previsor tendem a ser copiados para o programa. No mercado de ações, ele constata que as previsões de grupos, feitas de forma independente, tendem a superar as individuais, embora nem sempre o melhor indivíduo. Os operadores muitas vezes seguem a manada, e instituições avaliadas por resultados de curto prazo ajudam as bolhas a se formar. Nunca vamos identificar uma bolha, diz ele, se supusermos que o preço está sempre certo.
Na vida real: Uma multidão que pensa igual não é uma multidão que confere as suas respostas.
8. Clima do planeta, terrorismo e os limites do conhecimento
A ideia: Sobre a mudança climática, Silver diz que o efeito estufa quase certamente existe, que as emissões humanas de dióxido de carbono contribuem para ele e que o planeta muito provavelmente vai esquentar, embora os efeitos sejam menos certos e os cientistas discordem sobre a confiabilidade dos modelos climáticos. A política acrescenta ruído, já que algumas previsões agressivas vêm de erros de modelagem e outras de esforços para influenciar políticas, e o público muitas vezes lê a incerteza científica como fraqueza. Sobre o terrorismo, ele diz que é muito difícil distinguir sinal de ruído antes de um ataque e que as pessoas tratam o estranho como implausível. O padrão dos ataques segue uma lei de potência, em que eventos raros e muito grandes de fato ocorrem, de modo que os analistas devem imaginar ataques maiores e levar a sério os sinais deles. A pior falha, acrescenta, é não fazer previsão alguma. Ele conclui dizendo que as pessoas tendem a achar que são boas em prever e que uma abordagem bayesiana, com honestidade sobre a incerteza e disposição de revisar, é o caminho para melhorar.
Na vida real: Um previsor que diz o que poderia mudar a previsão dá a você um quadro mais completo.
Por que importa
O Sinal e o Ruído chegou à lista de mais vendidos do New York Times, foi eleito o melhor livro de não ficção de 2012 pela Amazon e ganhou o prêmio de ciência da Phi Beta Kappa Society em 2013. É uma das principais introduções populares à previsão, à probabilidade e ao pensamento bayesiano e ajudou a levar o raciocínio estatístico para o debate público, especialmente em épocas de eleição. O livro destacou o valor da humildade, das probabilidades e dos testes e mostrou como o excesso de confiança e os incentivos distorcem as previsões. Baseia-se na pesquisa de Philip Tetlock sobre o julgamento de especialistas e é uma leitura útil para quem precisa avaliar previsões de qualquer tipo, nos negócios, no jornalismo, na política ou no esporte.
Principais ideias
- Separe o sinal do ruído. Nem todo padrão em um conjunto de dados é real ou significativo.
- Pense em probabilidades. Evite a falsa certeza e diga o quanto você tem de certeza.
- Atualize com novas evidências. O pensamento bayesiano ajuda a ajustar a sua visão aos poucos.
- Teste as previsões. Áreas que conferem seus resultados, como a meteorologia, melhoram com o tempo.
- Seja humilde. Conheça os limites do conhecimento, sobretudo em sistemas complexos.
O que podemos aprender
Você pode começar expressando as suas próprias previsões como probabilidades e conferindo com que frequência elas se realizam. Quando vir um padrão chamativo nos dados, pergunte-se se ele pode ser obra do acaso. Desconfie de previsões confiantes de comentaristas que não enfrentam consequências. Atualize as suas opiniões quando chegarem novas evidências, mas evite reagir demais a cada notícia. E aprenda o básico de estatística, que ajuda a ler as notícias com mais senso crítico. Combinar números com bom senso é um bom hábito.
Críticas e outros pontos de vista
O cientista do clima Michael Mann criticou o livro por tratar a ciência física do clima com a mesma abordagem usada para as preferências dos eleitores, apoiada em suposições que ele chamou de subjetivas e não testáveis. Como o livro é escrito para o público geral e deixa de fora a maior parte da matemática, como observou um resenhista admirador, ele não consegue tratar a fundo todos os métodos estatísticos, e os métodos bayesianos têm dificuldades próprias, como escolher as crenças prévias. As previsões posteriores de Silver também alimentaram o debate sobre probabilidades: seu modelo de 2016 deu a Donald Trump cerca de 29 por cento de chance, mais do que outros grandes previsores, e Trump venceu. Um resultado com essas chances é inteiramente possível, e o episódio mostrou com que frequência as probabilidades são lidas como previsões. Ainda assim, a mensagem principal do livro é muito valorizada.
Quem deve ler
Este livro é para leitores interessados em dados, previsão, esportes e política. É envolvente e exige pouca matemática. Quem quiser um tratamento rigoroso de estatística ou probabilidade pode consultar um livro didático.
Este resumo foi traduzido do inglês com a ajuda de IA.
Quer ler o livro inteiro?
Um resumo é um aperitivo, não a refeição. Veja onde encontrar o livro completo.
Você chegou ao fim 🎉
Muito bem. Marque este livro como lido e vamos sugerir o que ler em seguida.
Para ler em seguida
Superprevisões
Philip E. Tetlock and Dan Gardner
O cientista político Philip Tetlock e o jornalista Dan Gardner relatam um projeto de pesquisa que descobriu que algumas pessoas comuns conseguem prever acontecimentos mundiais melhor do que especialistas, e descrevem os hábitos que as tornam tão boas.
🧩 Mente e psicologiaPensando em apostas
Annie Duke
A ex-jogadora profissional de pôquer Annie Duke defende que as decisões da vida são apostas feitas com informação incompleta e mostra como avaliar uma decisão pela sua qualidade, e não pelo resultado, pensando em probabilidades e aprendendo com a ajuda de grupos honestos.
🧩 Mente e psicologiaComo mentir com estatística
Darrell Huff
Num passeio leve e espirituoso pelos truques usados por anunciantes, jornalistas e outros, Darrell Huff mostra como números, gráficos e médias podem enganar, para que o leitor aprenda a perceber a trapaça.
🔬 CiênciaMoneyball
Michael Lewis
Michael Lewis conta como o Oakland Athletics, um time de beisebol com orçamento pequeno, usou estatísticas para encontrar jogadores ignorados e competir com times mais ricos, e como isso desafiou antigas crenças sobre o talento.
💼 NegóciosA jogada do século
Michael Lewis
Michael Lewis acompanha um punhado de investidores fora do comum que perceberam, antes da crise financeira de 2008, que o boom imobiliário americano era uma bolha, apostaram contra ele e descobriram o quanto o sistema financeiro havia avaliado mal os próprios riscos.
💼 NegóciosUma breve história do tempo
Stephen Hawking
Um dos maiores físicos do mundo explica, quase sem matemática, o que sabemos sobre a origem, a estrutura e o destino do universo, do Big Bang aos buracos negros e à própria natureza do tempo.
🔬 CiênciaQuer algo diferente?
Escolha outro tema e vamos mostrar três livros para você começar.