Armas de destrucción matemática
Título original: Weapons of Math Destruction
La matemática y antigua analista de un fondo de inversión Cathy O'Neil muestra cómo los algoritmos secretos y sin rendición de cuentas que se usan en las escuelas, los lugares de trabajo, la policía, el crédito y los seguros pueden reforzar en silencio la injusticia mientras parecen objetivos, y los llama «armas de destrucción matemática» (weapons of math destruction).
Presentación
Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy se publicó en 2016 y su autora, Cathy O’Neil, tiene un doctorado en matemáticas, trabajó como analista cuantitativa en un fondo de inversión durante la crisis financiera y más tarde se hizo científica de datos y escritora. Cuenta que dejó las finanzas porque vio cómo los modelos matemáticos podían causar daño con un aire de autoridad científica. Cada capítulo examina un ámbito distinto de la vida en el que unos sistemas de puntuación clasifican a las personas, como la educación, la contratación, la justicia y los préstamos. El libro es enérgico pero claro y está escrito para el público general.
Resumen completo
1. Qué convierte a un modelo en un arma
La idea: O’Neil empieza con su propia trayectoria en las finanzas, donde vio cómo la confianza en los modelos matemáticos contribuyó a la crisis de 2008. Después define el problema. Un modelo dañino, dice, tiene tres rasgos: es opaco, de modo que las personas a las que puntúa no pueden ver ni cuestionar cómo funciona; opera a gran escala y afecta a mucha gente; y causa daño, a menudo castigando a los pobres y premiando a quienes ya están en ventaja. Un buen modelo, en cambio, es transparente, justo y abierto a la corrección.
En la vida cotidiana: Si una puntuación decide si te dan un préstamo y nadie puede explicarte cómo se calculó, no puedes impugnarla.
2. Los círculos viciosos que atrapan a las personas
La idea: La autora explica cómo algunos modelos crean su propia realidad. Un sistema que señala ciertos barrios para reforzar la vigilancia policial encontrará allí más delitos menores, porque hay policías presentes, y los nuevos datos parecen confirmar que el barrio es peligroso, lo cual atrae a aún más agentes. De forma parecida, a una persona puntuada como de alto riesgo se le pueden negar oportunidades, lo que empeora su situación y parece demostrar que la puntuación tenía razón. Estos círculos que se alimentan a sí mismos (feedback loops) son especialmente difíciles de ver desde dentro.
En la vida cotidiana: A un estudiante etiquetado como mala apuesta le pueden dar menos oportunidades y, por tanto, tener menos éxitos, lo que parece una confirmación.
3. Escuelas, clasificaciones y puntuaciones de docentes
La idea: O’Neil examina el uso de los datos en la educación. Las clasificaciones de universidades, dice, empujan a estas a perseguir indicadores medibles y a gastar mucho para subir en las listas, lo que ha contribuido a encarecer los estudios. También describe sistemas que evalúan a los docentes según los cambios en las calificaciones de sus alumnos en las pruebas, algo que puede ser estadísticamente poco fiable en una sola aula, pero que se ha usado para despedir a profesores. Los números tenían autoridad aunque las muestras en que se basaban eran pequeñas y poco precisas.
En la vida cotidiana: Un docente puede ser juzgado por una cifra que sube y baja en gran medida por azar.
4. Trabajo, contratación y horarios
La idea: El libro pasa a los empleos. Muchos empleadores usan programas para filtrar solicitudes y pruebas de personalidad que pueden descartar a candidatos, incluidas personas con problemas de salud mental, sin ninguna explicación humana. El software de programación de turnos para los trabajadores con salarios bajos ajusta los turnos a la demanda, lo que mejora la eficiencia de la empresa, pero hace muy difícil que los trabajadores organicen el cuidado de sus hijos, los estudios o un segundo empleo. O’Neil sostiene que estos sistemas tratan a las personas como piezas que hay que optimizar.
En la vida cotidiana: Una trabajadora a la que le comunican sus turnos solo con unos días de antelación no puede organizar su vida.
5. Crédito, seguros y pobreza
La idea: En las finanzas y los seguros, dice, los intermediarios de datos reúnen enormes cantidades de información y las empresas la usan para dirigirse a las personas o puntuarlas. Los prestamistas abusivos y las universidades con ánimo de lucro pueden dirigir su publicidad a los más vulnerables. Usar las puntuaciones de crédito y otros indicadores indirectos para contratar o fijar el precio de los seguros puede penalizar dos veces a los pobres. A los ricos los atienden con más frecuencia personas, mientras que a los pobres los procesan máquinas, y las máquinas cometen errores difíciles de corregir.
En la vida cotidiana: Alguien con una puntuación baja por dificultades pasadas puede pagar más por el seguro, lo que le dificulta recuperarse.
6. La democracia y qué hacer
La idea: En los últimos capítulos, O’Neil se ocupa de la política. Las campañas, dice, pueden dirigirse a los votantes con mensajes personalizados que los demás no ven, lo que puede socavar un debate público compartido. Los contenidos que las redes sociales muestran a cada usuario también pueden moldear lo que la gente ve. Concluye con propuestas: que quienes crean modelos presten un juramento ético, como los médicos; que los modelos se sometan a auditorías de equidad; que los reguladores exijan transparencia en áreas como los préstamos, los seguros y las puntuaciones de crédito; y que auditores externos, y no solo personas de la propia empresa, examinen los algoritmos importantes. La eficiencia, sostiene, debería ceder a veces ante los valores humanos, y los datos pueden ayudar a las personas cuando se usan de forma abierta y justa.
En la vida cotidiana: Probar una herramienta de contratación para ver si descarta injustamente a ciertos grupos es una auditoría práctica.
Por qué importa
Armas de destrucción matemática fue un superventas del New York Times y se convirtió en uno de los principales libros divulgativos sobre el sesgo algorítmico. Estuvo en la lista larga de candidatos al National Book Award de no ficción e influyó en periodistas, investigadores y legisladores que empezaban a preguntarse cómo regular las decisiones automatizadas. La expresión del título pasó al uso cotidiano. Su principal aportación fue mostrar que los algoritmos no son neutrales, porque los crean personas, se entrenan con datos del pasado y se diseñan para objetivos que pueden entrar en conflicto con la equidad. Ayudó a abrir un campo de trabajo sobre la auditoría, la rendición de cuentas y la ética de la ciencia de datos, y sigue siendo una introducción de referencia.
Ideas clave
- La opacidad dificulta impugnar el daño. Nadie puede discutir una puntuación que no ve.
- La escala multiplica los errores. Un solo modelo defectuoso puede afectar a millones de personas a la vez.
- Los círculos viciosos consolidan la desventaja. Las predicciones pueden crear los resultados que predicen.
- Los modelos codifican decisiones humanas. Los datos y los objetivos reflejan los valores de quienes los construyen.
- La auditoría y la transparencia son esenciales. Los sistemas justos necesitan pruebas, explicaciones y posibilidad de apelar.
Qué podemos aprender
Puedes usar el libro para hacer mejores preguntas cada vez que una puntuación o una clasificación se utilice para tomar una decisión sobre ti o sobre otra persona. ¿Quién la creó, qué datos usa, qué optimiza y puede alguien apelar? Sé prudente al tratar un número como objetivo solo porque es matemático. Si trabajas con datos, piensa en cómo los errores y los sesgos podrían perjudicar a las personas, y compruébalo. Apoya las normas que exijan explicar y revisar las decisiones automatizadas, y recuerda que un modelo es tan justo como las decisiones que hay detrás.
Críticas y otras perspectivas
Algunos críticos dicen que O’Neil se apoya en un puñado de ejemplos llamativos y a veces mezcla problemas distintos, como los datos deficientes, el mal diseño y el uso malintencionado, de modo que el panorama es más unilateral de lo que justifican las pruebas. Otros señalan que quienes toman decisiones humanas también tienen sesgos y son opacos, y que los algoritmos bien diseñados pueden reducir la incoherencia, algo que el libro reconoce poco. Algunos científicos de datos opinan que la etiqueta «arma» es demasiado amplia y que algunos casos se describen sin suficiente detalle técnico. Sus defensores responden que lo que está en juego en las decisiones automatizadas justifica un escrutinio riguroso.
Quién debería leerlo
Este libro es para cualquiera que quiera entender cómo los algoritmos afectan a la equidad en la vida diaria, incluidos estudiantes, docentes, directivos y ciudadanos. Es accesible y casi no usa matemáticas. Quienes busquen métodos técnicos para medir el sesgo pueden recurrir después a textos más especializados.
Resumen traducido del inglés con la ayuda de la IA.
¿Quieres leer el libro completo?
Un resumen es un aperitivo, no la comida entera. Aquí puedes encontrar el libro completo.
Has llegado al final 🎉
Bien hecho. Marca este libro como leído y te sugeriremos qué leer a continuación.
Para leer a continuación
La era del capitalismo de vigilancia
Shoshana Zuboff
La profesora de Harvard Shoshana Zuboff sostiene que las grandes empresas tecnológicas han creado un nuevo tipo de capitalismo que recoge enormes cantidades de datos personales, los convierte en predicciones de nuestra conducta y las vende, lo que amenaza la privacidad, la autonomía y la democracia.
⚖️ Política y sociedadCompatibilidad humana
Stuart Russell
Stuart Russell, pionero de la inteligencia artificial, sostiene que la manera habitual de construir IA, dándoles objetivos fijos a las máquinas, es errónea y peligrosa, y propone diseñar máquinas que no estén seguras de cuáles son las preferencias humanas y que las aprendan observándonos.
💡 TecnologíaCómo mentir con estadísticas
Darrell Huff
Darrell Huff muestra, en un recorrido ligero e ingenioso por los trucos que usan publicistas, periodistas y otros, cómo los números, los gráficos y los promedios pueden engañar, para que los lectores aprendan a detectar el engaño.
🔬 CienciaAlgoritmos para vivir
Brian Christian and Tom Griffiths
El escritor Brian Christian y el científico cognitivo Tom Griffiths muestran cómo las ideas de la informática, como la parada óptima, la ordenación, la memoria caché y la planificación de tareas, ofrecen orientación práctica para las decisiones cotidianas sobre el tiempo, el espacio, las elecciones y las demás personas.
💡 TecnologíaLa señal y el ruido
Nate Silver
El estadístico y pronosticador electoral Nate Silver explica por qué fracasan la mayoría de las predicciones y muestra que pronosticar mejor exige pensar en probabilidades, actualizar las creencias con nuevas pruebas y ser humilde ante la incertidumbre.
🔬 CienciaLos Innovadores: Los genios que inventaron el futuro
Walter Isaacson
Walter Isaacson cuenta la historia de la revolución digital a través de las personas que inventaron el ordenador, internet y la web, y sostiene que la innovación es sobre todo fruto de la colaboración y no obra de genios solitarios.
💡 Tecnología¿Quieres algo distinto?
Elige otro tema y te mostraremos tres libros para empezar.