Algoritmos de destruição em massa

Título original: Weapons of Math Destruction

A partir de 13 anos6 min de leituraciência de dadosética
Onde encontrar o livro ↓

A matemática e ex-analista de fundo de investimento Cathy O'Neil mostra como algoritmos secretos e sem prestação de contas, usados em escolas, empresas, policiamento, crédito e seguros, podem reforçar injustiças em silêncio enquanto parecem objetivos, e os chama de “armas de destruição matemática”.

Apresentação

Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy foi publicado em 2016 por Cathy O’Neil, que tem doutorado em matemática, trabalhou como analista quantitativa em um fundo de investimento durante a crise financeira e depois se tornou cientista de dados e escritora. Ela diz que deixou o mercado financeiro porque viu como modelos matemáticos podiam causar dano carregando uma aura de autoridade científica. Cada capítulo examina uma área diferente da vida em que sistemas de pontuação classificam pessoas, como educação, contratação, justiça e crédito. O livro é indignado, mas claro, e escrito para o grande público.

Resumo completo

1. O que transforma um modelo em arma

A ideia: O’Neil começa pela própria trajetória no mercado financeiro, onde viu a confiança em modelos matemáticos contribuir para a crise de 2008. Em seguida, define o problema. Um modelo nocivo, diz ela, tem três características: é opaco, de modo que as pessoas avaliadas por ele não conseguem ver nem questionar como funciona; opera em escala, afetando muita gente; e causa dano, muitas vezes punindo os pobres e recompensando quem já tem vantagens. Um bom modelo, ao contrário, é transparente, justo e aberto a correções.

Na vida real: Se uma pontuação decide se você consegue um empréstimo e ninguém sabe dizer como ela foi calculada, você não tem como contestá-la.

2. Ciclos de retroalimentação que prendem as pessoas

A ideia: A autora explica como alguns modelos criam a sua própria realidade. Um sistema que marca certos bairros para policiamento extra vai encontrar mais crimes leves ali, porque a polícia está presente, e os novos dados parecem confirmar que o bairro é perigoso, o que leva ainda mais policiais para lá. Da mesma forma, uma pessoa classificada como de alto risco pode ter oportunidades negadas, o que piora a situação dela e parece provar que a pontuação estava certa. Esses ciclos que se reforçam são especialmente difíceis de enxergar de dentro.

Na vida real: Um aluno rotulado como má aposta pode receber menos chances e, portanto, ter menos sucessos, o que parece uma confirmação.

3. Escolas, rankings e notas de professores

A ideia: O’Neil examina o uso de dados na educação. Os rankings de universidades, diz ela, levam as instituições a correr atrás de indicadores mensuráveis e a gastar muito para subir nas listas, o que ajudou a elevar os custos. Ela também descreve sistemas que avaliam professores pela variação das notas dos alunos em testes, o que pode ser estatisticamente pouco confiável para uma única turma, mas já foi usado para demitir professores. Os números tinham autoridade, embora as amostras por trás deles fossem pequenas e instáveis.

Na vida real: Um professor pode ser julgado por um número que sobe e desce em grande parte por acaso.

4. Trabalho, contratação e escalas

A ideia: O livro passa aos empregos. Muitos empregadores usam software para filtrar candidaturas e testes de personalidade que podem eliminar candidatos, inclusive pessoas com problemas de saúde mental, sem nenhuma explicação humana. Os programas de escala para trabalhadores de baixa renda ajustam os turnos à demanda, o que ajuda a eficiência da empresa, mas torna muito difícil para os trabalhadores organizar o cuidado dos filhos, os estudos ou um segundo emprego. O’Neil argumenta que esses sistemas tratam as pessoas como insumos a serem otimizados.

Na vida real: Uma trabalhadora que só fica sabendo dos turnos com poucos dias de antecedência não consegue planejar a própria vida.

5. Crédito, seguros e os pobres

A ideia: No setor financeiro e nos seguros, diz ela, corretores de dados reúnem enormes quantidades de informações, e as empresas as usam para mirar ou avaliar pessoas. Credores predatórios e faculdades com fins lucrativos podem direcionar sua publicidade aos mais vulneráveis. Usar pontuações de crédito e outros indicadores indiretos (proxies) na contratação ou na precificação de seguros pode punir os pobres duas vezes. Os ricos são atendidos com mais frequência por pessoas, enquanto os pobres são processados por máquinas, e as máquinas cometem erros difíceis de corrigir.

Na vida real: Alguém com uma pontuação baixa por causa de dificuldades passadas pode pagar mais caro pelo seguro, o que torna a recuperação mais difícil.

6. Democracia e o que fazer

A ideia: Nos últimos capítulos, O’Neil trata da política. As campanhas, diz ela, podem direcionar a eleitores mensagens personalizadas que os outros não veem, o que pode minar um debate público compartilhado. Os feeds das redes sociais também podem moldar o que as pessoas veem. Ela conclui com propostas: que os criadores de modelos façam um juramento ético, como os médicos; que os modelos sejam auditados quanto à justiça; que os reguladores exijam transparência em áreas como empréstimos, seguros e pontuação de crédito; e que auditores externos, e não só quem trabalha nas empresas, examinem algoritmos importantes. A eficiência, argumenta, deve às vezes ceder lugar aos valores humanos, e os dados podem ajudar as pessoas quando usados de forma aberta e justa.

Na vida real: Testar uma ferramenta de contratação para ver se ela elimina injustamente certos grupos é uma auditoria prática.

Por que importa

Algoritmos de destruição em massa foi um best-seller do New York Times e se tornou um dos principais livros populares sobre o viés algorítmico. Foi pré-selecionado para o National Book Award de não ficção e influenciou jornalistas, pesquisadores e legisladores que começavam a perguntar como as decisões automatizadas deveriam ser reguladas. A expressão do título entrou no uso cotidiano. Sua principal contribuição foi mostrar que os algoritmos não são neutros, pois são construídos por pessoas, treinados com dados do passado e projetados para objetivos que podem entrar em conflito com a justiça. Ajudou a abrir um campo de trabalho sobre auditoria, responsabilização e ética da ciência de dados, e continua sendo uma introdução de referência.

Principais ideias

  • A opacidade dificulta contestar o dano. As pessoas não podem contestar uma pontuação que não conseguem ver.
  • A escala multiplica os erros. Um único modelo falho pode afetar milhões de pessoas ao mesmo tempo.
  • Ciclos de retroalimentação fixam a desvantagem. As previsões podem criar os resultados que preveem.
  • Os modelos codificam escolhas humanas. Dados e objetivos refletem os valores de quem os constrói.
  • Auditoria e transparência são essenciais. Sistemas justos precisam de testes, explicação e possibilidade de recurso.

O que podemos aprender

Você pode usar o livro para fazer perguntas melhores sempre que uma pontuação ou um ranking for usado para tomar uma decisão sobre você ou sobre outra pessoa. Quem o construiu, que dados usa, o que otimiza e alguém pode recorrer? Tenha cautela ao tratar um número como objetivo só porque ele é matemático. Se você trabalha com dados, pense em como erros e vieses podem prejudicar pessoas e teste a existência deles. Apoie regras que exijam explicação e revisão das decisões automatizadas e lembre-se de que um modelo só é tão justo quanto as escolhas por trás dele.

Críticas e outros pontos de vista

Alguns críticos dizem que O’Neil se apoia em um punhado de exemplos marcantes e às vezes mistura problemas diferentes, como dados ruins, projeto inadequado e uso deliberadamente abusivo, de modo que o quadro fica mais unilateral do que as evidências permitem. Outros apontam que quem decide entre humanos também é enviesado e opaco e que algoritmos bem projetados podem reduzir a inconsistência, o que o livro reconhece pouco. Alguns cientistas de dados acham que o rótulo “arma” é abrangente demais e que alguns casos são descritos sem detalhes técnicos suficientes. Os defensores respondem que o que está em jogo nas decisões automatizadas justifica um escrutínio rigoroso.

Quem deve ler

Este livro é para quem quer entender como os algoritmos afetam a justiça no dia a dia, inclusive estudantes, professores, gestores e cidadãos. É acessível e quase não usa matemática. Quem quiser métodos técnicos para medir o viés pode recorrer depois a textos mais especializados.

Este resumo foi traduzido do inglês com a ajuda de IA.

Quer ler o livro inteiro?

Um resumo é um aperitivo, não a refeição. Veja onde encontrar o livro completo.

Você chegou ao fim 🎉

Muito bem. Marque este livro como lido e vamos sugerir o que ler em seguida.

Para ler em seguida

A era do capitalismo de vigilância

Shoshana Zuboff

Shoshana Zuboff, professora de Harvard, defende que as grandes empresas de tecnologia criaram um novo tipo de capitalismo, que reúne enormes quantidades de dados pessoais, os transforma em previsões do nosso comportamento e as vende, ameaçando a privacidade, a autonomia e a democracia.

⚖️ Política e sociedade

Compatível com humanos

Stuart Russell

Stuart Russell, um dos pioneiros da inteligência artificial, defende que a maneira usual de construir IA, dando às máquinas objetivos fixos, é falha e perigosa, e propõe que projetemos máquinas que tenham incerteza sobre as preferências humanas e aprendam essas preferências observando o que fazemos.

💡 Tecnologia

Como mentir com estatística

Darrell Huff

Num passeio leve e espirituoso pelos truques usados por anunciantes, jornalistas e outros, Darrell Huff mostra como números, gráficos e médias podem enganar, para que o leitor aprenda a perceber a trapaça.

🔬 Ciência

Algoritmos para viver

Brian Christian and Tom Griffiths

O escritor Brian Christian e o cientista cognitivo Tom Griffiths mostram como ideias da ciência da computação, como a parada ótima, a ordenação, o cache e o agendamento, oferecem orientação prática para decisões do dia a dia sobre tempo, espaço, escolhas e outras pessoas.

💡 Tecnologia

O Sinal e o Ruído

Nate Silver

O estatístico e previsor de eleições Nate Silver explica por que a maioria das previsões falha e mostra que prever melhor depende de pensar em probabilidades, atualizar as crenças com novas evidências e ser humilde diante da incerteza.

🔬 Ciência

Os Inovadores - Uma Biografia da Revolução Digital

Walter Isaacson

Walter Isaacson conta a história da revolução digital por meio das pessoas que inventaram o computador, a internet e a web, e defende que a inovação é, em grande parte, produto da colaboração, e não obra de gênios solitários.

💡 Tecnologia

Quer algo diferente?

Escolha outro tema e vamos mostrar três livros para você começar.

Mostrando livros de:
Explorar todos os livros →