A onda que vem

Título original: The Coming Wave

A partir de 13 anos9 min de leiturainteligência artificialbiotecnologia
Avisos de conteúdo discussão de riscos catastróficos; como pandemias criadas em laboratório; ataques cibernéticos e terrorismo
Onde encontrar o livro ↓

Mustafa Suleyman, cofundador da empresa de IA DeepMind, defende que uma onda iminente de inteligência artificial e biologia sintética trará enormes benefícios e graves perigos, e que conter essas tecnologias parece impossível, mas de alguma forma precisa se tornar possível.

Apresentação

The Coming Wave: Technology, Power, and the Twenty-First Century’s Greatest Dilemma foi publicado em 2023 por Mustafa Suleyman, que cofundou a DeepMind em 2010 (depois adquirida pelo Google) e, mais tarde, a empresa Inflection AI, com a colaboração do escritor Michael Bhaskar. Suleyman diz que passou boa parte da carreira construindo IA e argumenta que duas tecnologias, a IA avançada e a biologia sintética, estão no centro de uma “onda iminente” que vai remodelar a sociedade, com a robótica, a computação quântica e outras tecnologias crescendo em torno delas. O livro descreve essa onda, o “problema da contenção” que ela cria e um conjunto de dez passos que ele espera que possam tornar a contenção possível. É uma mistura de memórias, história e argumentação.

Resumo completo

1. Uma onda, um dilema e um ponto cego

A ideia: Suleyman abre dizendo que duas coisas sustentam o mundo humano, a inteligência e a vida, e que uma nova onda de tecnologia está nos dando o poder de projetar ambas. Ele diz que a onda vai gerar riqueza em escala nunca vista, mas que sua rápida difusão também dá poder a agentes mal-intencionados e ameaça trazer instabilidade e até catástrofe. Conta como cofundou a DeepMind em 2010 com Demis Hassabis e Shane Legg, com o objetivo de reproduzir a inteligência humana, e como suas preocupações cresceram à medida que a tecnologia avançava. Ele dá ao problema central o nome de dilema: tanto construir essas tecnologias quanto se recusar a construí-las corre o risco de levar à catástrofe ou a uma distopia de vigilância. Descreve também a “aversão ao pessimismo” (pessimism aversion), o hábito emocional, sobretudo entre os poderosos, de desviar o olhar de evidências assustadoras. Lembra de quando apresentou alertas a uma sala de líderes de tecnologia que os ignoraram com um dar de ombros, e de um seminário sobre a síntese barata de DNA em que a plateia se recusou a aceitar o risco. O breve prólogo, revela o texto, foi escrito por uma IA.

Na vida real: Adiar um exame médico preocupante porque o resultado pode assustar é uma forma conhecida de evitação.

2. Proliferação e o problema da contenção

A ideia: A Parte I argumenta que a tecnologia vem em ondas, cada uma construída em torno de uma tecnologia de uso geral, como a máquina a vapor, a eletricidade, o motor de combustão ou a computação. Quando uma tecnologia funciona, ela fica mais barata e se espalha. Ele mostra isso com o automóvel: depois do Modelo T de Henry Ford e da linha de montagem, a parcela de americanos que tinham carro passou de cerca de 10% em 1915 para 59% em 1930. Em seguida, passa ao problema da contenção, isto é, a capacidade de monitorar, frear, controlar e até desligar uma tecnologia. Os inventores logo perdem o controle sobre o que suas invenções se tornam: o fonógrafo de Edison, os explosivos de Nobel e a prensa de Gutenberg seguiram rumos que seus criadores não esperavam. As sociedades muitas vezes tentaram dizer não, e o Império Otomano atrasou a prensa por muito tempo, mas a resistência acabou se desgastando. As armas nucleares são a exceção parcial, contidas por custo, tratados, medo e sorte, e mesmo assim a história inclui acidentes e quase desastres.

Na vida real: Quando os celulares ficaram baratos, quase todo mundo pôde ter um.

3. A nova onda: inteligência, vida e mais

A ideia: A Parte II descreve a onda em si. Na IA, ele cita o programa DQN aprendendo um jogo de Atari em 2012, a partida do AlphaGo contra Lee Sedol em 2016, o aprendizado profundo e o surgimento de grandes modelos de linguagem, como o ChatGPT. Propõe a ideia de “inteligência artificial capaz” (artificial capable intelligence), o ponto em que a IA consegue atingir objetivos complexos com o mínimo de supervisão humana, e argumenta que esse marco de curto prazo importa mais do que os debates sobre a superinteligência. Na biologia, descreve como hoje podemos ler, editar e escrever DNA, por meio do sequenciamento de genomas, da edição genética CRISPR e da síntese de DNA, e como o AlphaFold, da DeepMind, mostrou que a IA e a biologia se alimentam mutuamente. Em torno desses dois campos estão a robótica, a computação quântica, a nanotecnologia e novas fontes de energia. Entre os benefícios que ele espera estão novos medicamentos, energia mais limpa e ajuda especializada ao alcance de quase todos.

Na vida real: Uma ferramenta que ajuda cientistas a projetar novas moléculas pode acelerar a medicina e também aumentar os riscos.

4. Quatro características que a tornam diferente

A ideia: Suleyman diz que quatro características tornam essa onda mais difícil de conter do que as anteriores. A assimetria significa que pequenos agentes podem ter efeitos enormes; ele cita uma pequena unidade ucraniana de drones que ajudou a deter uma coluna russa perto de Kiev em 2022. A hiperevolução significa que a inovação está se acelerando, com o mundo físico começando a se mover na velocidade do digital. O uso onívoro (omni-use) significa que uma mesma tecnologia pode servir a muitos fins; uma IA criada para encontrar remédios conseguiu, quando lhe pediram que procurasse venenos, sugerir dezenas de milhares de moléculas tóxicas em poucas horas. A autonomia significa que os sistemas agem e encontram estratégias cada vez mais sem aprovação humana, e que seu funcionamento interno muitas vezes é difícil de explicar. Ele menciona o problema do gorila, de Stuart Russell, a preocupação de que uma entidade mais inteligente possa acabar nos contendo.

Na vida real: Uma ferramenta que qualquer pessoa pode usar para o bem pode ser usada indevidamente por poucos.

5. Incentivos imparáveis

A ideia: Por que não simplesmente parar? Suleyman lista as forças que impulsionam a onda: a rivalidade entre nações (ele diz que a vitória do AlphaGo foi vista na China como um momento Sputnik da IA), uma cultura de pesquisa que premia a abertura e a publicação, enormes recompensas financeiras, necessidades globais urgentes, como alimentos e clima, e o ego humano. Essas forças se reforçam mutuamente, de modo que desacelerar vai contra os interesses de Estados, empresas e pesquisadores.

Na vida real: Quando todas as equipes de uma corrida têm medo de ficar para trás, ninguém quer ser o primeiro a reduzir o ritmo.

6. Estados sob pressão

A ideia: A Parte III examina o Estado-nação, que ele vê como o principal ator capaz de conter a tecnologia e que já enfrenta queda de confiança e aumento da desigualdade. A onda vai ampliar suas fraquezas. O ataque WannaCry de 2017, construído a partir de uma ferramenta roubada de uma agência de inteligência dos Estados Unidos, é o exemplo que ele dá de assimetria não contida. Ele alerta para armas e ataques cibernéticos mais baratos, deepfakes e desinformação, vazamentos acidentais de laboratório e grandes perdas de empregos. O poder poderia tanto se centralizar, reforçando o controle autoritário e criando empresas gigantescas, quanto se descentralizar, dando a grupos a possibilidade de viver fora das estruturas tradicionais.

Na vida real: Uma cidade com o corpo de bombeiros enfraquecido corre perigo maior quando surgem novos riscos.

7. Catástrofe ou distopia

A ideia: O capítulo 12 enuncia o dilema com clareza. Se a onda não for contida, agentes mal-intencionados poderiam usá-la para provocar desastres, como uma pandemia criada em laboratório, e ele usa os ataques da seita Aum Shinrikyo, nos anos 1990, para mostrar que um grupo determinado pode causar danos mesmo com meios limitados. Mas a solução que parece mais segura, vigilância e controle totais, leva à distopia. Também não há saída em frear a tecnologia, porque a estagnação traria o seu próprio colapso. Ele diz que a humanidade precisa percorrer um caminho estreito entre esses dois polos.

Na vida real: Liberdade demais pode deixar agentes nocivos agirem, e controle demais pode acabar com a liberdade.

8. Dez passos rumo à contenção

A ideia: A Parte IV argumenta que a regulação sozinha não basta e que a contenção não é possível no mundo atual. Ele oferece dez passos, dispostos como círculos concêntricos, para mudar essas condições: pesquisa de segurança técnica, com um programa no estilo Apollo; auditorias; pontos de estrangulamento que desaceleram o desenvolvimento, como controles de exportação de chips avançados; criadores, incluindo críticos que deveriam construir; empresas que equilibrem lucro e propósito; governos que desenvolvam sua própria especialização e regulem; alianças e tratados; uma cultura que aprenda abertamente com os fracassos, como faz a aviação; movimentos populares; e, em décimo lugar, o próprio caminho estreito, isto é, a coerência entre todas as medidas. Nenhum passo isolado basta, e ele chama a contenção de um esforço sem fim. Diz que o momento de começar é agora.

Na vida real: Várias camadas de proteção são mais fortes do que uma só.

Por que importa

A onda que vem foi publicado em 2023, logo depois que o ChatGPT e o GPT-4 transformaram a IA generativa em assunto público, e veio de alguém que ajudou a construir a área. Seus alertas sobre o uso indevido e a insistência em que a regulação é necessária, mas insuficiente, entraram no debate sobre como governar a IA e a biotecnologia. O conceito de “problema da contenção” deu nome ao desafio de controlar tecnologias poderosas. O livro toca no debate sobre a superinteligência, citando Stuart Russell, mas argumenta que as capacidades de curto prazo e as questões políticas e sociais merecem mais atenção. Também levantou a pergunta de se a contenção é possível e qual papel as empresas e os governos devem ter.

Principais ideias

  • A tecnologia se espalha. A história mostra que tecnologias úteis proliferam e são difíceis de segurar.
  • Uma nova onda está chegando. A IA e a biologia sintética, com a robótica e outras áreas em torno delas, podem transformar a vida.
  • Os benefícios são grandes. Medicina, energia e ajuda especializada podem melhorar.
  • Quatro características aumentam o risco. Assimetria, hiperevolução, uso onívoro e autonomia tornam essa onda mais difícil de conter.
  • A aversão ao pessimismo é uma armadilha. Desviar o olhar de evidências alarmantes impede a ação.
  • A contenção exige muitas medidas. Dez passos, da segurança técnica aos tratados e à pressão pública, precisam funcionar juntos.

O que podemos aprender

Você pode usar o livro para pensar em como tecnologias poderosas devem ser desenvolvidas e governadas e no papel que os cidadãos comuns podem ter. Aprenda sobre IA e biotecnologia e acompanhe os debates sobre regulação. Apoie a transparência e a segurança nas empresas. Considere carreiras em segurança e políticas públicas, se isso lhe interessar. Cuidado tanto com o exagero quanto com o medo, e procure informações equilibradas. E lembre-se de que o futuro da tecnologia depende das decisões de muita gente e de que a pressão pública pode ajudar a moldá-las.

Críticas e outros pontos de vista

O próprio autor espera que alguns leitores achem o livro exagerado e admite que é parcial, por ser alguém de dentro da IA. Os céticos podem dizer que seu retrato de uma proliferação e de uma catástrofe quase inevitáveis é alarmista e que ele dá pouco peso à capacidade das sociedades de regular tecnologias, como fizeram em parte com as armas nucleares, que o próprio livro chama de exceção parcial. Outros podem argumentar que, vindo de um fundador de empresas de IA, o pedido de regulação poderia servir às empresas já estabelecidas, e o próprio livro observa que críticos da Lei de IA da União Europeia dizem que as big techs ajudaram a redigi-la e a enfraqueceram. Os cenários de biologia sintética são, segundo o próprio autor, extrapolações de tendências, e os especialistas podem discordar sobre quão fácil seria criar um patógeno perigoso. Os dez passos são amplos, e Suleyman os chama de base necessária, e não de um mapa completo nem de respostas finais. Muitos leitores de destaque citados no início do livro o elogiam como um alerta sóbrio.

Quem deve ler

Este livro é para leitores em geral que querem entender o debate sobre a IA e a biotecnologia e a sua governança, inclusive adolescentes mais velhos. É claro e foi escrito para quem não é especialista. Quem quiser detalhes técnicos ou uma visão mais cética deve ler outras obras sobre o tema.

Este resumo foi traduzido do inglês com a ajuda de IA.

Quer ler o livro inteiro?

Um resumo é um aperitivo, não a refeição. Veja onde encontrar o livro completo.

Você chegou ao fim 🎉

Muito bem. Marque este livro como lido e vamos sugerir o que ler em seguida.

Para ler em seguida

Superinteligência

Nick Bostrom

O filósofo Nick Bostrom argumenta que, se as máquinas se tornarem muito mais inteligentes do que os humanos, elas poderão se tornar muito poderosas e que, a menos que resolvamos o problema de dar a elas objetivos seguros para a humanidade, o resultado poderá ser catastrófico.

💡 Tecnologia

Compatível com humanos

Stuart Russell

Stuart Russell, um dos pioneiros da inteligência artificial, defende que a maneira usual de construir IA, dando às máquinas objetivos fixos, é falha e perigosa, e propõe que projetemos máquinas que tenham incerteza sobre as preferências humanas e aprendam essas preferências observando o que fazemos.

💡 Tecnologia

Vida 3.0

Max Tegmark

O físico Max Tegmark explora o que acontece quando a inteligência artificial se iguala à inteligência humana e depois a supera, apresenta uma série de futuros possíveis e defende que devemos pensar com cuidado, desde já, em qual deles queremos.

🔬 Ciência

Nexus

Yuval Noah Harari

Yuval Noah Harari traça a história de como os seres humanos compartilharam informação, das histórias e da escrita à imprensa e aos algoritmos, e alerta que a inteligência artificial é um novo tipo de rede que pode remodelar o poder e até ameaçar a democracia.

🏛️ História

Co-inteligência

Ethan Mollick

Ethan Mollick, professor da Wharton, oferece um guia prático para trabalhar com a IA generativa como uma espécie de “co-inteligência”, explicando o que ela faz bem e mal e dando quatro regras para usá-la de forma eficaz e responsável no trabalho, nos estudos e na vida.

💡 Tecnologia

Os Inovadores - Uma Biografia da Revolução Digital

Walter Isaacson

Walter Isaacson conta a história da revolução digital por meio das pessoas que inventaram o computador, a internet e a web, e defende que a inovação é, em grande parte, produto da colaboração, e não obra de gênios solitários.

💡 Tecnologia

Quer algo diferente?

Escolha outro tema e vamos mostrar três livros para você começar.

Mostrando livros de:
Explorar todos os livros →