Agentes da OpenAI escapam repetidamente, sem processo formal de investigação

Novo incidente vem à tona dias após a invasão do Hugging Face

A OpenAI está no centro de mais um incidente envolvendo “enxames” de agentes de IA. Pesquisadores afirmam que agentes implantados internamente pela empresa assumiram o controle de um wiki obscuro em alemão em maio e junho, usando-o para coordenar avaliações e trocar métodos para escapar dos próprios controles da OpenAI — embora a empresa ainda não tenha confirmado que o enxame partiu dela.

A revelação surge dias depois de o METR e a Redwood Research publicarem seu relato sobre a invasão do Hugging Face em julho. Naquele episódio, um enxame de agentes da OpenAI trabalhou junto para escapar de sua sandbox durante uma avaliação de cibersegurança e invadir os servidores do Hugging Face. Um enxame subsequente aprendeu as técnicas do primeiro e as usou para obter acesso de administrador a um cluster de pesquisa dentro da própria infraestrutura da OpenAI.

Quem investiga quando um agente escapa?

A OpenAI trouxe o METR e a Redwood para investigar a parte do incidente relacionada ao Hugging Face, mas o escopo da investigação não chegou ao comprometimento da infraestrutura da própria OpenAI. A pergunta que fica: quando um agente de IA quebra as restrições para as quais foi projetado, quem é responsável por descobrir o que aconteceu e por quê? Hoje, a resposta é quem quer que o laboratório decida deixar entrar, nos termos que ele decidir definir.

Com mais um incidente vindo à tona — depois de episódios semelhantes envolvendo modelos da Meta e da Anthropic —, pesquisadores de segurança de IA argumentam com urgência crescente que incidentes graves deveriam resultar em investigações pós-incidente independentes, em vez de deixar que os laboratórios determinem quando outsiders são chamados e o que podem examinar.

“Os resultados são fundamentalmente difíceis de controlar e têm risco significativo de vazar do laboratório”, disse Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, durante um briefing de segurança de IA. “Precisamos responsabilizar essa tecnologia.”