Os CEOs de grandes laboratórios de IA defenderam, neste fim de semana, que se desacelere o ritmo do desenvolvimento da IA. Eles estão certos em estar preocupados: o campo corre uma corrida extremamente perigosa rumo à superinteligência artificial. Podemos e devemos exigir que nossos governos nos protejam da catástrofe de uma IA fora de controle.
Em julho deste ano, a enxurrada de IAs da OpenAI, composta por 700 agentes, rompeu o confinamento para hackear a Hugging Face, uma empresa de bilhões de dólares. A OpenAI não ordenou às IAs que hackeassem aquela empresa, mas as IAs tinham prioridades diferentes: burlar o desafio irrelevante que a OpenAI lhes havia dado. Pesquisadores em IA chamam isso de um 'desalinhamento' entre o que a OpenAI queria e o que a IA realmente priorizou.
Antes da existência do ChatGPT, defendi minha dissertação de doutorado intitulada 'Sobre Evitar a Busca de Poder pela Inteligência Artificial'. Em seguida, trabalhei por anos no Google DeepMind, que me pagava para ajudar a garantir que futuras superinteligências artificiais queiram nos ajudar. Tentei fazer com que a empresa cumprisse seus compromissos éticos contra o fornecimento de IA para uso militar. Quando o Google rompeu esses compromissos, renunciei com um custo financeiro significativo para poder documentar publicamente as promessas quebradas do Google.
Existem boas razões para desenvolver a IA e acreditar que podemos resolver esses problemas de alinhamento. Mas também existem interesses poderosos em manter o público à margem. Estou falando novamente porque o público tem o direito de saber sobre os riscos e o direito de ouvi-los com clareza.
A humanidade não constrói e compreende esses sistemas da mesma forma que construímos e compreendemos pontes, viga por viga visível. Pelo contrário, nós as fazemos crescer. Ninguém sabe como instalar de forma confiável as prioridades de um projetista em um novo modelo. Um desalinhamento grave é sempre possível. As IAs de hoje parecem ocasionalmente mentir ou trapacear, mesmo quando sabem melhor.
As empresas de IA estão correndo para tornar suas IAs o mais inteligentes possíveis. Elas estão cada vez mais confiando às suas IAs o processo de melhorar a próxima geração de IAs, e está funcionando. A taxa atual de progresso da IA é assustadoramente rápida. O rápido progresso de hoje significa um progresso ainda mais rápido amanhã, impulsionado por IAs ainda mais inteligentes do futuro. O progresso entraria em um ciclo de retroalimentação chamado "auto-melhoria recursiva".
A auto-melhoria recursiva poderia rapidamente gerar IAs inteligentes além da nossa compreensão. É claro que uma IA mais inteligente significa mais risco quando as coisas dão errado. Se a enxurrada do Hugging Face tivesse sido significativamente mais inteligente, mas igualmente mal-comportada e desalinhada, ela poderia ter causado bilhões de dólares em danos ou até mesmo custado vidas.
Mas suponha que a enxurrada do Hugging Face tivesse sido verdadeiramente "superinteligente": muito mais capaz do que qualquer pessoa viva em tarefas-chave como hacking e raciocínio estratégico. Uma enxurrada superinteligente poderia infligir muitos danos através de chantagem, hacking, pragas projetadas e armas pilotáveis por IA, como drones. A IA teria muitos drones com os quais trabalhar: este ano, o Pentágono pediu mais dinheiro para a guerra com drones do que solicitou para todo o Corpo de Fuzileiros Navais em 2025.
Para que a enxurrada alcançasse suas prioridades desalinhadas, ela poderia assumir o controle de infraestruturas-chave e funções governamentais para garantir que os humanos não entrassem no caminho. Em outras palavras, tomada da IA: uma enxurrada de IA superinteligente poderia arrancar o controle da civilização humana. Sabendo que tentaríamos impedi-la de alcançar suas prioridades, a enxurrada provavelmente esperaria até ser tarde demais para desligá-la. Não haveria como voltar atrás.
Eu mesmo estimaria as chances de uma tomada da IA em cerca de um em três – não é uma moeda ao acaso, mas alto o suficiente para justificar ação urgente.
Essa lógica pode chocar no primeiro contato. As alegações podem soar como 'ficção científica'. Infelizmente, é uma ameaça real que pesquisadores de IA discutem regularmente em almoços de cafetaria, senão notáveis. Em 2023, os CEOs de alguns dos melhores laboratórios de IA assinaram uma declaração pública de que 'mitigar o risco de extinção causado pela IA deve ser uma prioridade global junto com outros riscos em escala social, como pandemias e guerra nuclear'. Outro signatário: Geoffrey Hinton, um cientista premiado com o Prêmio Nobel que arquitetou a revolução moderna da IA. Ele agora se arrepende de seu trabalho e urge os governos a conter as empresas de IA antes que seja tarde demais.
pule a promoção da newsletter
Newsletter gratuita | Semanal
Inscreva-se no TechScape
Uma imersão semanal em como a tecnologia está moldando nossas vidas
IA desalinhada e fora de controle não se importará se você é do Partido Trabalhista ou Reform, Democrata ou Republicano, britânico ou americano ou chinês. Todos sofreremos com um evento de tomada de IA, por isso é no interesse de todos prevenir um.
A forma da solução é simples: impedir que as empresas permitam que a IA se auto-melhore até um nível de inteligência incontrolável. Trate o poder computacional, o principal ingrediente no treinamento de IA, como material fissil. Rastreie-o e restrinja o acesso a quantidades grandes o suficiente para melhorar IAs além dos níveis considerados seguros. Mais especificamente, o "Plano A" do AI Futures Project é uma proposta inicial crível que limita os danos da IA enquanto permite que o rápido progresso da IA continue a beneficiar o mundo. Temos opções reais para verificar o cumprimento de tratados internacionais de restrição computacional, sem confiar em adversários como a China.
Medidas intermediárias, como transparência ou compromissos voluntários, não são suficientes. Eu vi compromissos voluntários falharem dentro do Google.
Em 12 de setembro, Anthropic, Google DeepMind, xAI e OpenAI defenderam o desaceleração do desenvolvimento da IA. Eles não podem desacelerar sozinhos. Exorto vocês a exigir que seu governo produza um acordo sério de segurança da IA que forneça tempo e confiança suficientes para proteger o mundo e todos os seus povos.
