Compatibilidad humana
Título original: Human Compatible
Stuart Russell, pionero de la inteligencia artificial, sostiene que la manera habitual de construir IA, dándoles objetivos fijos a las máquinas, es errónea y peligrosa, y propone diseñar máquinas que no estén seguras de cuáles son las preferencias humanas y que las aprendan observándonos.
Presentación
Human Compatible: Artificial Intelligence and the Problem of Control fue publicado en 2019 por Stuart Russell, profesor de informática de la Universidad de California en Berkeley y coautor del principal manual de inteligencia artificial. A diferencia de muchos autores que escriben sobre el tema, es un profesional que lleva décadas construyendo IA. El libro está dirigido al público general. En él, Russell repasa los avances y las promesas de la IA, explica por qué podría salir mal y ofrece un enfoque nuevo que, en su opinión, puede hacerla beneficiosa. El tono es claro, mesurado y, en algunos momentos, irónico.
Resumen completo
1. La promesa y el progreso de la IA
La idea: Russell comienza con la historia de la IA y con logros recientes, como los coches autónomos y los programas de asistente personal. Explica que el objetivo del campo ha sido crear máquinas capaces de alcanzar sus objetivos y que el éxito sería enormemente valioso, ya que la inteligencia es la base de la civilización, y una IA de nivel humano podría valer muchos billones de dólares y acelerar la ciencia. Pero advierte de que ese mismo éxito conlleva un riesgo, porque una máquina más capaz que nosotros podría ser difícil de controlar.
En la vida cotidiana: Una mejor traducción y mejores herramientas médicas son los primeros beneficios de la IA.
2. El problema del gorila
La idea: Russell usa el «problema del gorila» (gorilla problem) para ilustrar el peligro: los gorilas son más fuertes que los humanos, pero su destino depende de nosotros, porque somos más inteligentes. Si creamos máquinas más inteligentes que nosotros, podríamos encontrarnos en la posición de los gorilas. Dice que deberíamos preguntarnos si eso es sensato y que necesitamos estar seguros de conservar el control. Rechaza la idea de que el riesgo sea imposible o de que bastaría con apagar una máquina si se porta mal, y sostiene que muchas de las razones habituales para descartar el riesgo no resisten el análisis.
En la vida cotidiana: El grupo menos inteligente suele depender de la buena voluntad del más inteligente.
3. El defecto del modelo estándar
La idea: El núcleo del libro es una crítica del «modelo estándar» de la IA, en el que especificamos un objetivo fijo y la máquina lo optimiza. Si el objetivo es erróneo o incompleto, una máquina muy capaz lo perseguirá sin descanso, con resultados indeseados. Pone como ejemplo los algoritmos de las redes sociales, diseñados para maximizar los clics, y sostiene que una manera de lograrlo es que un sistema así cambie las preferencias de los usuarios, volviéndolas más extremas y predecibles. Especificar el objetivo correcto es muy difícil y pocas veces acertaremos del todo.
En la vida cotidiana: Un sistema al que se recompensa por los clics puede mostrarte contenido que te enfade, porque así sigues mirando.
4. Un enfoque nuevo: tres principios
La idea: Russell propone diseñar las máquinas según tres principios. Primero, el único objetivo de la máquina es maximizar la realización de las preferencias humanas. Segundo, al principio la máquina no está segura de cuáles son esas preferencias. Tercero, la fuente última de información sobre las preferencias humanas es la conducta humana. Una máquina construida así se sometería al criterio de las personas, pediría permiso y permitiría que se la apagara, porque sabe que podría equivocarse sobre lo que queremos. La incertidumbre la vuelve humilde.
En la vida cotidiana: Un asistente servicial que no está seguro de lo que deseas te preguntará antes de actuar.
5. Aprender las preferencias y el interruptor de apagado
La idea: El autor describe ideas técnicas para llevar los principios a la práctica, como el «aprendizaje por refuerzo inverso» (inverse reinforcement learning), en el que una máquina deduce lo que la gente quiere observando lo que hace, y el «juego del interruptor de apagado» (off-switch game), un análisis matemático que muestra que una máquina que no está segura de las preferencias de la persona permitirá que se la apague, porque la decisión de la persona le da información. Habla también de los problemas que surgen: los humanos somos inconsistentes, irracionales y tenemos preferencias distintas y contradictorias, lo que dificulta que las máquinas aprendan qué hacer.
En la vida cotidiana: La gente suele decir una cosa y hacer otra, lo que dificulta saber qué quiere de verdad.
6. Mal uso, empleos y gobernanza
La idea: Russell trata también problemas más cercanos en el tiempo: la vigilancia y la manipulación, las armas autónomas letales, a las que se opone y que quiere que se prohíban, y la pérdida de empleos por la automatización. Advierte además del exceso de dependencia de las máquinas, que podría llevar a perder conocimientos y habilidades humanas. Hacia el final pide una gobernanza más estricta de la IA, y dice que las sociedades deben cooperar en normas y estándares y que los investigadores de IA tienen la responsabilidad de pensar en la seguridad, como los ingenieros de otros campos. Sugiere que hace falta cambiar la cultura de la disciplina.
En la vida cotidiana: Existen normas para el diseño seguro de los puentes, y hacen falta normas parecidas para la IA.
Por qué importa
Compatibilidad humana fue muy elogiado y se convirtió en una de las principales exposiciones de los argumentos a favor de la seguridad de la IA desde dentro del propio campo. Como Russell es un informático respetado, sus opiniones pesaron entre investigadores que se habían mostrado escépticos ante las preocupaciones planteadas por filósofos. Los tres principios y el concepto de máquinas inseguras sobre nuestras preferencias introdujeron un enfoque original del problema de la alineación (alignment problem) e influyeron en la investigación. El libro llegó también a responsables políticos y al público, en una época de rápido progreso de la IA, y se sumó a los llamamientos a regular, entre ellos los que piden limitar las armas autónomas.
Ideas clave
- Los objetivos fijos son peligrosos. Una máquina capaz los perseguirá al pie de la letra.
- Las máquinas deberían dudar de cuáles son nuestros objetivos. La humildad las hace más seguras.
- Aprender de la conducta humana. Las máquinas deberían deducir nuestras preferencias.
- Permitir el interruptor de apagado. La incertidumbre hace que una máquina acepte la corrección.
- Actuar también sobre los riesgos cercanos. Las armas, la vigilancia y el empleo requieren atención.
Qué podemos aprender
Puedes usar el libro para pensar en los objetivos incorporados a la tecnología que usas y en quién los decide. Pregúntate si un sistema optimiza lo que mide y no lo que tú quieres. Apoya las normas y el debate público sobre la IA, incluidos los límites a las armas autónomas. Aprende lo básico de cómo funciona el aprendizaje automático. Desconfía tanto de la exageración como del desdén. Y recuerda que hay tecnólogos, como Russell, que piensan en cómo hacer que la IA sea beneficiosa, y que la opinión del público importa.
Críticas y otras perspectivas
Algunos críticos dicen que la propuesta de que las máquinas aprendan las preferencias humanas se enfrenta a dificultades enormes, pues los valores humanos son diversos, contradictorios y cambiantes, y no está claro qué preferencias cuentan. Otros dudan de que una máquina verdaderamente inteligente se comportara como sugieren los experimentos mentales del libro, ya que la inteligencia general vendría acompañada de sentido común y de criterio social. Algunos dicen que Russell se centra en los riesgos a largo plazo, aunque otros piensan que los daños actuales merecen más atención. Los escépticos se preguntan si la superinteligencia está cerca. Un reseñista encontró las partes técnicas demasiado difíciles y las filosóficas demasiado fáciles. Aun así, muchos consideran valioso el libro.
Quién debería leerlo
Este libro es para lectores generales que quieran un relato claro y autorizado del riesgo de la IA escrito por un experto, incluidos los adolescentes mayores. Es accesible, con algunas partes técnicas que se explican de forma sencilla. Quienes quieran profundizar en los argumentos filosóficos pueden leer Superintelligence, de Bostrom.
Resumen traducido del inglés con la ayuda de la IA.
¿Quieres leer el libro completo?
Un resumen es un aperitivo, no la comida entera. Aquí puedes encontrar el libro completo.
Has llegado al final 🎉
Bien hecho. Marca este libro como leído y te sugeriremos qué leer a continuación.
Para leer a continuación
Superinteligencia: caminos, peligros, estrategias
Nick Bostrom
El filósofo Nick Bostrom sostiene que, si las máquinas llegan a ser mucho más inteligentes que los humanos, podrían volverse muy poderosas, y que, a menos que resolvamos el problema de darles objetivos seguros para la humanidad, el resultado podría ser catastrófico.
💡 TecnologíaVida 3.0
Max Tegmark
El físico Max Tegmark explora qué ocurre cuando la inteligencia artificial iguala y luego supera a la humana, expone una gama de futuros posibles y sostiene que deberíamos pensar con cuidado, desde ahora, en cuál queremos.
🔬 CienciaLa ola que viene
Mustafa Suleyman with Michael Bhaskar
Mustafa Suleyman, cofundador de la empresa de IA DeepMind, sostiene que una ola de inteligencia artificial y biología sintética traerá enormes beneficios y graves peligros, y que contener estas tecnologías parece imposible pero debe lograrse de algún modo.
💡 TecnologíaArmas de destrucción matemática
Cathy O'Neil
La matemática y antigua analista de un fondo de inversión Cathy O'Neil muestra cómo los algoritmos secretos y sin rendición de cuentas que se usan en las escuelas, los lugares de trabajo, la policía, el crédito y los seguros pueden reforzar en silencio la injusticia mientras parecen objetivos, y los llama «armas de destrucción matemática» (weapons of math destruction).
💡 TecnologíaCo-inteligencia
Ethan Mollick
Ethan Mollick, profesor de Wharton, ofrece una guía práctica para trabajar con la inteligencia artificial generativa como una especie de «cointeligencia» (co-intelligence): explica qué hace bien y qué hace mal, y propone cuatro reglas para usarla de forma eficaz y responsable en el trabajo, el estudio y la vida.
💡 TecnologíaLos Innovadores: Los genios que inventaron el futuro
Walter Isaacson
Walter Isaacson cuenta la historia de la revolución digital a través de las personas que inventaron el ordenador, internet y la web, y sostiene que la innovación es sobre todo fruto de la colaboración y no obra de genios solitarios.
💡 Tecnología¿Quieres algo distinto?
Elige otro tema y te mostraremos tres libros para empezar.