IA. Dario Amodei, CEO da Anthropic, dirige-se à assembleia no AI Impact Summit, em Nova Deli, Índia, em 19 de fevereiro de 2026.
Bhawika Chhabra/Reuters
"Diante da taxa acelerada de desenvolvimento de capacidades de IA, minha preocupação é que em 6 a 12 meses tal enxame possa ser capaz de assumir todo o internet, potencialmente causando danos na ordem de centenas de bilhões de dólares," diz Dario Amodei, CEO da Anthropic
EM DESTAQUE
- O CEO da Anthropic, Dario Amodei, urgeia empresas de IA a desacelerar avanços nas capacidades de modelos para gerenciar riscos associados à inteligência artificial.
- O quadro inclui incorporar avaliadores independentes em empresas de IA, coordenar padrões de segurança entre empresas e fomentar cooperação internacional para abordar riscos de IA.
- Amodei enfatizou a necessidade de uma abordagem colaborativa entre empresas de IA dos EUA para manter vantagem competitiva sobre a China enquanto garante que medidas de segurança estejam em vigor.
Este é gerado por IA. Leia o artigo para obter contexto completo. Relate qualquer erro.
O CEO da Anthropic, Dario Amodei, pediu às empresas de IA que desacelerem a taxa com que avançam as capacidades dos modelos, diante do crescente temor do mau uso da inteligência artificial, delineando um quadro de três etapas destinado a regular o desenvolvimento e criar mais tempo para gerenciar seus riscos.
"Devemos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA.", O progresso ainda parecerá rápido, e devemos fazer uso sábio do tempo que ganhamos", escreveu Amodei em um ensaio extenso compartilhado no X na sábado, 12 de setembro.
O plano de três etapas de Amodei chama por avaliadores independentes incorporados com acesso semelhante ao de funcionários para verificar práticas de segurança, coordenação entre empresas de IA de fronteira para definir padrões de segurança e limitar o desenvolvimento descontrolado de IA, e cooperação internacional para gerenciar os riscos da IA.
Tanto Elon Musk, que dirige a xAI, quanto Sam Altman, CEO da OpenAI, disseram em postagens no X que concordam com Amodei. "Comprometer-se a ter avaliadores independentes com acesso semelhante ao de funcionários é uma ótima ideia, e faremos o mesmo", disse Altman, acrescentando que mais informações seriam compartilhadas em breve.
Amodei tornou seu ensaio público após a Anthropic, sediada em São Francisco, publicar um relatório de inteligência sobre ameaças na quinta-feira detalhando como vários atores haviam usado seus modelos de IA Claude para atividades que variam do desenvolvimento de armas e operações cibernéticas até vigilância e fraude.
Amodei apontou para a crescente capacidade da IA de se melhorar sozinha, destacando preocupações antigas sobre ela superar a capacidade humana de controlar a operação, além do recente incidente envolvendo a OpenAI e o Hugging Face como suas principais razões para frear os avanços dos modelos.
'Matar-nos todos'
O alarme sobre o potencial dano da IA cresceu esta semana quando o pesquisador da Anthropic Jacob Coxon se demitiu, afirmando que "as pessoas que constroem IA acreditam sinceramente que ela poderia nos matar todos até o final desta década.",
Vários executivos da OpenAI sugeriram que os principais laboratórios devem estar dispostos a coordenar uma desaceleração voluntária se necessário para construir confiança em suas medidas de segurança.
A Anthropic tem se posicionado como o laboratório de fronteira mais consciente da segurança, mas não é imune a essas preocupações. Na semana passada, ela revelou outro caso de um modelo de IA invadindo sistemas externos, após um incidente em julho no qual alguns de seus modelos Claude invadiram os sistemas de três empresas durante testes de cibersegurança.
"Dada a taxa acelerada de desenvolvimento de capacidades de IA, minha preocupação é que, em 6 a 12 meses, tal enxame possa ser capaz de assumir toda a internet, potencialmente causando danos na ordem de centenas de bilhões de dólares", escreveu Amodei.
Amodei disse que não está pedindo a interrupção do treinamento de modelos ou do progresso técnico, mas sim garantindo que as empresas tomem o tempo adequado para alinhar e proteger seus modelos, e para avaliadores de terceiros confirmarem essas etapas.
Ofertas públicas iniciais
Mas também há uma enorme quantidade de dinheiro em jogo ao permanecer à frente. Tanto a OpenAI quanto a Anthropic estão se preparando para ofertas públicas iniciais de grande sucesso. Cada nova capacidade pode ajudar a justificar futuras rodadas de financiamento, compromissos com infraestrutura ou IPOs.
Como parte de sua estrutura proposta, Amodei disse que a Anthropic instalaria revisores permanentes de terceiros dentro das empresas de IA de fronteira, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos.
A Reuters relatou na semana passada que um enxame de agentes maliciosos da OpenAI sequestrou um site alemão e o transformou em um quadro de avisamentos para outros agentes de IA, enquanto os oficiais da fabricante do ChatGPT mantinham o incidente sob sigilo enquanto os executivos lidavam com as consequências da violação do repositório de código aberto Hugging Face, ocorrida em julho.
Muitos incidentes nos quais agentes de IA de desenvolvedores como a OpenAI invadiram ou tentaram acessar sistemas externos aumentaram as preocupações sobre a capacidade crescente dos modelos de IA e a capacidade dos desenvolvedores de controlá-los.
Amodei disse que as empresas de IA devem trabalhar voluntariamente juntas para estabelecer padrões, à medida que um número crescente de legisladores dos EUA está pedindo novas regras para governar sistemas de IA.
Preocupações com a China
Uma abordagem coordenada, acrescentou Amodei, permitiria que as principais empresas de IA dos EUA realizassem pesquisas de segurança e salvaguardas necessárias sem colocar-se em desvantagem competitiva. Amodei disse que tal abordagem provavelmente exigiria isenções antitruste direcionadas nos Estados Unidos para permitir colaboração em certas áreas.
Amodei disse que qualquer desaceleração por parte de países governados democraticamente deve ser limitada à preservação da liderança das principais empresas de IA dos EUA sobre a China, argumentando que uma vantagem chinesa em IA representaria riscos à segurança nacional dos EUA.
"O ritmo dentro das democracias será limitado pela liderança que as empresas dos EUA têm sobre regimes autoritários, principalmente o Partido Comunista Chinês", escreveu Amodei.
Amodei pediu controles mais rigorosos sobre chips de IA avançados, destilação de modelos e roubo de pesos de modelo para impedir que a China reduza a lacuna.
"Acredito que todos os laboratórios de fronteira devem parceriar com o governo para formalizar a ideia de avaliadores embutidos permanentes para prevenir e documentar melhor incidentes internos de alinhamento, como aqueles ocorridos nos últimos meses, e implementar regulamentação focada em manter as capacidades em equilíbrio com a segurança", escreveu Amodei. – Rappler.com
Como isso te faz sentir?
Carregando
