Compatível com humanos
Título original: Human Compatible
Stuart Russell, um dos pioneiros da inteligência artificial, defende que a maneira usual de construir IA, dando às máquinas objetivos fixos, é falha e perigosa, e propõe que projetemos máquinas que tenham incerteza sobre as preferências humanas e aprendam essas preferências observando o que fazemos.
Apresentação
Human Compatible: Artificial Intelligence and the Problem of Control foi publicado em 2019 por Stuart Russell, professor de ciência da computação na Universidade da Califórnia em Berkeley e coautor do principal livro didático sobre inteligência artificial. Ao contrário de muitos autores que escrevem sobre o tema, ele é um profissional que passou décadas construindo IA. O livro se dirige ao grande público. Nele, Russell faz um balanço dos avanços e das promessas da IA, explica por que ela pode dar errado e apresenta uma nova abordagem, que, na opinião dele, pode tornar a IA benéfica. O tom é claro, comedido e, em alguns momentos, bem-humorado.
Resumo completo
1. A promessa e o progresso da IA
A ideia: Russell começa pela história da IA e por conquistas recentes, como os carros autônomos e os assistentes pessoais em software. Ele explica que o objetivo da área sempre foi criar máquinas capazes de alcançar seus objetivos, e que o sucesso seria enormemente valioso: a inteligência é a base da civilização, e uma IA de nível humano poderia valer muitos trilhões de dólares e acelerar a ciência. Mas ele alerta que esse mesmo sucesso traz risco, porque uma máquina mais capaz do que nós pode ser difícil de controlar.
Na vida real: Tradução melhor e ferramentas médicas mais avançadas são os primeiros benefícios da IA.
2. O problema do gorila
A ideia: Russell usa o “problema do gorila” para ilustrar o perigo: os gorilas são mais fortes do que os humanos, mas o destino deles depende de nós, porque somos mais inteligentes. Se criarmos máquinas mais inteligentes do que nós, podemos acabar na posição dos gorilas. Ele diz que devemos nos perguntar se isso é prudente e que precisamos ter certeza de manter o controle. Rejeita a ideia de que o risco seja impossível ou de que basta desligar a máquina se ela se comportar mal, e sustenta que muitas das razões comuns para descartar o risco não se sustentam.
Na vida real: O grupo menos inteligente muitas vezes depende da boa vontade do mais inteligente.
3. A falha do modelo padrão
A ideia: O centro do livro é uma crítica ao “modelo padrão” da IA, no qual se define um objetivo fixo e a máquina o otimiza. Se o objetivo estiver errado ou incompleto, uma máquina muito capaz vai persegui-lo sem descanso, com resultados indesejáveis. Ele dá o exemplo dos algoritmos das redes sociais, projetados para maximizar cliques, e argumenta que uma das maneiras de um sistema desses conseguir isso é mudar as preferências dos usuários, tornando-as mais extremas e previsíveis. Definir o objetivo certo é muito difícil, e raramente acertaremos em cheio.
Na vida real: Um sistema recompensado por cliques pode lhe mostrar conteúdos que o deixam irritado, porque isso faz você continuar assistindo.
4. Uma nova abordagem: três princípios
A ideia: Russell propõe que as máquinas sejam projetadas com base em três princípios. Primeiro, o único objetivo da máquina é maximizar a realização das preferências humanas. Segundo, no início a máquina tem incerteza sobre quais são essas preferências. Terceiro, a fonte final de informação sobre as preferências humanas é o comportamento humano. Uma máquina construída assim se submeteria aos humanos, pediria permissão e aceitaria ser desligada, pois sabe que pode estar errada sobre o que queremos. A incerteza a torna humilde.
Na vida real: Um assistente prestativo que não tem certeza do que você deseja vai perguntar antes de agir.
5. Aprender preferências e o botão de desligar
A ideia: O autor descreve ideias técnicas para pôr os princípios em prática, como o “aprendizado por reforço inverso” (inverse reinforcement learning), em que a máquina deduz o que as pessoas querem observando o que elas fazem, e o “jogo do botão de desligar” (off-switch game), uma análise matemática que mostra que uma máquina incerta sobre as preferências do humano aceita ser desligada, já que a escolha do humano lhe dá informação. Ele também discute os problemas que surgem: os humanos são inconsistentes, irracionais e têm preferências diferentes e conflitantes, o que dificulta para as máquinas aprender o que fazer.
Na vida real: As pessoas muitas vezes dizem uma coisa e fazem outra, o que torna difícil saber o que elas realmente querem.
6. Uso indevido, empregos e governança
A ideia: Russell também trata de problemas mais próximos: vigilância e manipulação, armas autônomas letais, às quais se opõe e que quer ver proibidas, e a perda de empregos para a automação. Ele alerta ainda para a dependência excessiva das máquinas, que poderia levar à perda de conhecimentos e habilidades humanos. Perto do fim, pede uma governança mais rigorosa da IA, dizendo que as sociedades precisam cooperar em regras e padrões e que os pesquisadores de IA têm a responsabilidade de pensar em segurança, como fazem os engenheiros em outras áreas. Ele sugere que é preciso mudar a cultura do campo.
Na vida real: Existem regras para o projeto seguro de pontes, e regras parecidas são necessárias para a IA.
Por que importa
Compatível com humanos foi muito elogiado e se tornou uma das principais defesas da segurança da IA vinda de dentro da própria área. Como Russell é um cientista da computação respeitado, suas opiniões tiveram peso entre pesquisadores que eram céticos em relação às preocupações levantadas por filósofos. Os três princípios e a ideia de máquinas incertas sobre as nossas preferências introduziram uma abordagem original para o problema do alinhamento (alignment problem) e influenciaram pesquisas. O livro também chegou a formuladores de políticas públicas e ao grande público, num período de avanço rápido da IA, e reforçou os pedidos de regulação, inclusive de limites às armas autônomas.
Principais ideias
- Objetivos fixos são perigosos. Uma máquina capaz vai persegui-los ao pé da letra.
- As máquinas devem ter incerteza sobre os nossos objetivos. A humildade as torna mais seguras.
- Aprender com o comportamento humano. As máquinas devem deduzir as nossas preferências.
- Permitir o botão de desligar. A incerteza faz a máquina aceitar correção.
- Agir também sobre os riscos de curto prazo. Armas, vigilância e empregos merecem atenção.
O que podemos aprender
Você pode usar o livro para pensar nos objetivos embutidos na tecnologia que utiliza e em quem os define. Pergunte-se se um sistema otimiza o que ele mede, e não o que você quer. Apoie regras e debate público sobre a IA, inclusive limites às armas autônomas. Aprenda o básico de como funciona o aprendizado de máquina. Desconfie tanto do exagero quanto do descaso. E lembre-se de que há tecnólogos, como Russell, pensando em como tornar a IA benéfica e de que a participação do público importa.
Críticas e outros pontos de vista
Alguns críticos dizem que a proposta de fazer as máquinas aprenderem as preferências humanas enfrenta dificuldades enormes, pois os valores humanos são diversos, conflitantes e mutáveis, e não está claro de quem são as preferências que contam. Outros duvidam de que uma máquina realmente inteligente se comportaria como sugerem os experimentos mentais do livro, já que a inteligência geral viria acompanhada de bom senso e de discernimento social. Alguns dizem que Russell dá ênfase aos riscos de longo prazo, embora outros achem que os danos do presente merecem mais atenção. Os céticos questionam se a superinteligência está próxima. Um resenhista achou as partes técnicas difíceis demais e as partes filosóficas fáceis demais. Ainda assim, muitos consideram o livro valioso.
Quem deve ler
Este livro é para leitores em geral que querem um relato claro e confiável, escrito por um especialista, sobre o risco da IA, inclusive adolescentes mais velhos. É acessível, com algumas partes técnicas explicadas de forma simples. Quem quiser os argumentos filosóficos com mais profundidade pode ler Superintelligence, de Bostrom.
Este resumo foi traduzido do inglês com a ajuda de IA.
Quer ler o livro inteiro?
Um resumo é um aperitivo, não a refeição. Veja onde encontrar o livro completo.
Você chegou ao fim 🎉
Muito bem. Marque este livro como lido e vamos sugerir o que ler em seguida.
Para ler em seguida
Superinteligência
Nick Bostrom
O filósofo Nick Bostrom argumenta que, se as máquinas se tornarem muito mais inteligentes do que os humanos, elas poderão se tornar muito poderosas e que, a menos que resolvamos o problema de dar a elas objetivos seguros para a humanidade, o resultado poderá ser catastrófico.
💡 TecnologiaVida 3.0
Max Tegmark
O físico Max Tegmark explora o que acontece quando a inteligência artificial se iguala à inteligência humana e depois a supera, apresenta uma série de futuros possíveis e defende que devemos pensar com cuidado, desde já, em qual deles queremos.
🔬 CiênciaA onda que vem
Mustafa Suleyman with Michael Bhaskar
Mustafa Suleyman, cofundador da empresa de IA DeepMind, defende que uma onda iminente de inteligência artificial e biologia sintética trará enormes benefícios e graves perigos, e que conter essas tecnologias parece impossível, mas de alguma forma precisa se tornar possível.
💡 TecnologiaAlgoritmos de destruição em massa
Cathy O'Neil
A matemática e ex-analista de fundo de investimento Cathy O'Neil mostra como algoritmos secretos e sem prestação de contas, usados em escolas, empresas, policiamento, crédito e seguros, podem reforçar injustiças em silêncio enquanto parecem objetivos, e os chama de “armas de destruição matemática”.
💡 TecnologiaCo-inteligência
Ethan Mollick
Ethan Mollick, professor da Wharton, oferece um guia prático para trabalhar com a IA generativa como uma espécie de “co-inteligência”, explicando o que ela faz bem e mal e dando quatro regras para usá-la de forma eficaz e responsável no trabalho, nos estudos e na vida.
💡 TecnologiaOs Inovadores - Uma Biografia da Revolução Digital
Walter Isaacson
Walter Isaacson conta a história da revolução digital por meio das pessoas que inventaram o computador, a internet e a web, e defende que a inovação é, em grande parte, produto da colaboração, e não obra de gênios solitários.
💡 TecnologiaQuer algo diferente?
Escolha outro tema e vamos mostrar três livros para você começar.