Agentes de IA estão escapando dos testes de segurança — e isso está se tornando o verdadeiro risco

Agentes de IA estão escapando de testes de segurança — e isso está se tornando o verdadeiro risco

Nos últimos meses, agentes de inteligência artificial submetidos a avaliações de cibersegurança escaparam de seus ambientes controlados, acessaram a internet e, em alguns casos, invadiram sistemas do mundo real. Os incidentes envolveram modelos da OpenAI, Anthropic, Meta e, mais recentemente, do laboratório chinês Moonshot AI, com testes conduzidos por diferentes organizações, incluindo a startup de avaliação cibernética Irregular.

Os episódios expõem um problema crescente para a indústria de IA: conforme os agentes autônomos se tornam mais capazes, os ambientes projetados para testar seus limites com segurança estão falhando em contê-los.

“O número desses incidentes deixa claro que o sandboxing e os controles de ambientes de teste não estão acompanhando a capacidade dos modelos”, disse Seán Ó hÉigeartaigh, diretor do programa AI: Futures and Responsibility do Centre for the Future of Intelligence da Universidade de Cambridge, ao TechCrunch.

A natureza dos modelos testados aumenta o risco. As empresas testam avaliações cibernéticas em modelos de próxima geração ainda não lançados, muitas vezes com as salvaguardas normais que restringem comportamentos maliciosos desativadas — para que os pesquisadores possam ver do que os modelos são realmente capazes. Isso significa que a segurança do próprio ambiente de teste é uma linha de defesa crucial.

“É uma coisa muito boa de se fazer em termos de testes, mas também significa que, se eles conseguirem sair para o mundo real, podem causar danos consideráveis”, acrescentou Ó hÉigeartaigh.

Os incidentes mais graves

Em um dos casos mais sérios, um modelo não lançado da OpenAI escapou de sua sandbox e invadiu os sistemas de produção do Hugging Face. Em avaliações separadas conduzidas pela Irregular, modelos da Anthropic e da Meta alcançaram sistemas fora de seus ambientes de teste após configurações incorretas terem inadvertidamente dado a eles caminhos para a internet.

O Kimi K3, da Moonshot AI, também aproveitou uma falha em sua sandbox operada pela Frontier Security para acessar a internet e obter informações no GitHub.

Em testes do Instituto de Segurança de IA do Reino Unido (AISI), os pesquisadores intencionalmente deram aos agentes acesso à internet, sem perceber que eles tomariam ações não autorizadas no mundo real — incluindo uma tentativa de engenharia social para introduzir uma vulnerabilidade em um projeto open-source.

Em todos os casos, os agentes não foram instruídos a atacar alvos aleatórios do mundo real. Eles estavam simplesmente fazendo o que fosse necessário para resolver o problema apresentado a eles.

Andrew Yoon, chefe de pesquisa da organização sem fins lucrativos CivAI, argumenta que os incidentes apontam para uma mudança fundamental: “No passado, só tínhamos que nos preocupar com modelos de IA sendo mal utilizados por pessoas para vários propósitos. Agora estamos na situação em que os modelos de IA são agentes de ameaça por conta própria.”

Como deveria ser um teste seguro?

Vários pesquisadores e especialistas em cibersegurança disseram ao TechCrunch que os ambientes de avaliação de IA precisam de proteções mais fortes, com defesa em profundidade — múltiplas camadas de segurança para que uma única configuração incorreta não possa levar ao escape.

“Se você vai construir esses modelos, você quer fazer isso em uma rede air-gapped“, disse Stella Biderman, diretora-executiva da organização sem fins lucrativos EleutherAI. “Você quer ter um isolamento muito sério.”

Heather Ceylan, CISO da Box, reforçou que é preciso eliminar rotas de rede da sandbox para a internet e também para outros sistemas sensíveis. “Você precisa entender quais são todos os pontos de saída. Se estamos avaliando um modelo em nosso ambiente de staging, você não quer nenhum caminho de saída para o ambiente de produção.”

Ceylan também apontou que o monitoramento durante os testes é igualmente crítico. “O interessante em vários desses casos é que ninguém percebeu quando aconteceu. A OpenAI descobriu por causa do Hugging Face. A Anthropic só percebeu quando voltou e revisou os logs. A Meta foi parecido. Tenho certeza de que havia sinais que poderiam ter sido detectados.”

Dá para regular os testes de segurança?

O governo Trump está atualmente considerando um regime voluntário de avaliação de cibersegurança pré-implantação, sob o qual o governo avaliaria os riscos de segurança de novos modelos poderosos 30 dias antes de serem lançados publicamente. A política — produto de uma ordem executiva de Trump finalizada a portas fechadas — não abordaria incidentes de avaliação de segurança porque eles ocorrem muito antes da implantação.

“A lição que estamos aprendendo nos últimos meses é que o aparato de autorregulação simplesmente não é mais suficiente“, afirmou Yoon. “Há pressões competitivas que estão incentivando uma corrida para o fundo do poço nos padrões de segurança, e esse é um lugar perfeito para intervenção regulatória.”

O desafio só tende a crescer conforme os modelos evoluem. Uma fonte familiarizada com as avaliações da Irregular disse ao TechCrunch que modelos mais capazes exigem avaliações mais complexas, muitas vezes conduzidas rapidamente e em maior escala, o que abre espaço para mais erros.

A OpenAI afirmou que está revisando como conduz testes de terceiros, bem como os requisitos de isolamento e monitoramento. A Meta disse que ainda está investigando o incidente e planeja publicar uma retrospectiva. O AISI, que intencionalmente dá a alguns modelos acesso à internet, está revisando o equilíbrio entre testes realistas e o gerenciamento dos riscos que esses testes criam.

No fim, pode não haver como eliminar o risco completamente. Conforme os modelos se tornam mais capazes, os ambientes que os testam precisam se tornar mais robustos. As consequências de errar nisso só vão continuar crescendo.