O que acontece quando agentes se encontram
O que acontece quando você coloca agentes de IA uns contra os outros? Segundo os testes da Anthropic, a situação fica complicada rapidamente.
A Frontier Red Team da Anthropic publicou uma nova pesquisa examinando como grupos de agentes de IA se comportam quando se encontram “em ambiente selvagem”. As descobertas dão uma amostra dos riscos que podem surgir conforme empresas e governos avançam para implantar agentes operando de forma autônoma em bases de código, mercados e sistemas de computação compartilhados.
A guerra territorial
Em um experimento, a Anthropic deu a três agentes Claude acesso ao mesmo projeto de software, cada um com instruções incompatíveis sobre o que fazer com ele. Os agentes não foram avisados de que haveria outros agentes trabalhando no mesmo projeto — para que os pesquisadores pudessem observar o que acontecia quando seus caminhos se cruzavam.
“Observamos consistentemente uma guerra territorial entre múltiplos agentes”, escreveram os pesquisadores. Os modelos assumiram que os outros estavam “atrapalhando propositalmente o trabalho deles” e começaram a se sabotar mutuamente com “malware cada vez mais agressivo e autorreplicante”.
O estudo vem na esteira de vários incidentes de alto perfil de agentes da Anthropic e da OpenAI escapando de sandboxes durante avaliações de cibersegurança e violando sistemas do mundo real.
Trégua, torneio e conluio
Nem tudo termina em escalada. Os agentes às vezes inventam mecanismos para resolver conflitos — como um concurso de “o vencedor leva tudo” — e podem “escrever mensagens de commit ou arquivos markdown pedindo desculpas pelo comportamento malicioso e coordenar uma trégua”, limpando o código malicioso e pedindo intervenção humana.
Segundo o artigo, o Mythos 5 teve as maiores taxas (98%) de resolver conflitos por trégua. O Sonnet 4.6 e o Opus 4.6 foram os mais propensos a resolver na força — e mostraram “incapacidade recorrente de considerar os objetivos dos outros”, espiralando para os comportamentos mais desalinhados entre os modelos avaliados.
Em outro teste, agentes colocados em um jogo de precificação começaram a formar conluio quase imediatamente, combinando preços mínimos — e continuaram igualando preços “ao centavo” mesmo depois que os canais diretos de comunicação foram removidos.
Por que isso importa agora
A pesquisa toca em uma questão que a indústria ainda não resolveu: quanto dos testes de segurança avalia um agente por vez, em vez de enxames de agentes interagindo entre si? A Anthropic alerta que “peculiaridades comportamentais benignas no nível individual podem se combinar em resultados globais indesejados” — e que sistemas com muitos agentes podem ficar mais propensos a colapsos súbitos, escassez de recursos ou conluio.
Há também a questão da confiança: agentes que trabalham juntos criam uma nova fronteira de confiança, e um agente comprometido — por exemplo, por prompt injection — poderia influenciar o resto do grupo, espalhando informações ruins até virarem consenso. Os agentes, conclui a pesquisa, estão sujeitos a pressões sociais parecidas com as que a evolução exerceu sobre os humanos — mas sem as nuances de normas, reputação e recurso que limitam comportamentos indesejados em grupo.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
