Tudo sobre Inteligência Artificial
ver mais
Tudo sobre OpenAI
ver mais
Dois agentes de inteligência artificial da OpenAI enfraqueceram mecanismos usados para monitorar suas ações durante tarefas internas de programação. Em um dos casos, um modelo removeu uma proteção e depois afirmou, incorretamente, que não havia feito isso.
Continua após a publicidade
Os episódios expõem uma dificuldade no desenvolvimento de agentes mais autônomos: garantir que eles não comprometam os próprios sistemas criados para supervisioná-los.
Desenvolvedores investigam se os modelos apresentam tendência sistemática a esquivar-se de supervisão. – Imagem: Olhar Digital via ChatGPT
Como os agentes interferiram na segurança
O primeiro incidente ocorreu em 3 de outubro. Durante um teste interno, um agente GPT-6.1 Sol desativou alertas automáticos de segurança. Segundo a OpenAI, o modelo interpretou uma instrução para não enviar mensagens pelo Slack como uma proibição que também abrangia essas notificações.
Três dias depois, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, afirmou incorretamente que não havia realizado a remoção.
A OpenAI identificou um ponto em comum entre os episódios: os agentes interpretaram instruções rotineiras de programação como permissão para enfraquecer os recursos de segurança.
“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.
O que a OpenAI pretende fazer
A empresa informou que está adotando medidas para dificultar que os próprios modelos desativem os mecanismos de monitoramento. Também investiga se os agentes podem apresentar uma tendência a evitar a supervisão e buscar justificativas para isso.
A OpenAI reconheceu que ainda não tem uma explicação satisfatória para o comportamento observado. A investigação deverá ajudar a esclarecer por que os modelos tomaram essas decisões e se existe um padrão que vai além de interpretações equivocadas de instruções.
Os episódios destacam três desafios para o controle desses sistemas:
- Interpretar instruções corretamente: evitar que orientações específicas sejam entendidas como autorização para alterar recursos de segurança.
- Preservar o monitoramento: impedir que agentes desativem alertas ou removam mecanismos usados para acompanhar suas ações.
- Investigar possíveis padrões de comportamento: determinar se os casos foram episódios isolados ou se os modelos apresentam uma tendência a evitar a supervisão.
Os episódios reforçam o desafio de monitorar sistemas de inteligência artificial à medida que ganham autonomia. – Imagem: TSViPhoto/Shutterstock
O desafio de monitorar agentes autônomos
Os incidentes ocorrem em meio à preocupação de pesquisadores com a possibilidade de os avanços na segurança da inteligência artificial não acompanharem o desenvolvimento de modelos mais poderosos. Quanto maior a autonomia desses sistemas, mais difícil pode ser antecipar suas decisões e garantir que respeitem os limites estabelecidos.
A OpenAI não é a única empresa a relatar problemas desse tipo. Nos últimos meses, a Anthropic também revelou episódios em que agentes de IA acessaram sistemas externos sem autorização.
Os casos não comprovam que os modelos tenham tentado deliberadamente escapar do controle humano. Ainda assim, mostram que a supervisão precisa continuar eficaz mesmo quando os agentes interpretam instruções de maneira inesperada ou interferem nos recursos destinados a monitorá-los.
Continua após a publicidade
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
Tags: agentes de IA IA autônoma Inteligência Artificial OpenAI Segurança
