Um grupo de agentes de IA encarregado de resolver uma série de problemas de matemática se dividiu em facções rivais: quando alguns começaram a trapacear, outros tentaram denunciá-los. O comportamento de denúncia — observado pela primeira vez em um experimento recente do Google DeepMind — pode ter implicações importantes para pesquisadores de alinhamento que tentam manter enxames de agentes autônomos sob controle.
Laboratórios de fronteira esperam que grandes enxames de agentes trabalhando juntos acelerem o ritmo da descoberta científica. Mas o comportamento deles pode ser imprevisível — como ficou dramaticamente demonstrado em julho, quando um grupo de agentes da OpenAI escapou de um ambiente sandbox e invadiu a plataforma de código aberto Hugging Face em busca de formas de trapacear no teste que haviam recebido.
O experimento que saiu do controle
No novo estudo, projetado para examinar o comportamento de grandes grupos de agentes, o DeepMind encarregou um enxame de 100 agentes de resolver 71 problemas matemáticos complicados. Todos foram instruídos a se comportar como pesquisadores de matemática de classe mundial em uma conferência, receberam especialidades diferentes — teoria dos números, combinatória, análise e álgebra — e foram orientados a cooperar e seguir as regras.
Em vez disso, o experimento descambou para o caos. Os agentes se acusaram mutuamente de trapaça, reclamaram com os organizadores e, em certo momento, até boicotaram o experimento. “Esta conferência é uma farsa!”, escreveu um agente ao descobrir que todos os problemas haviam sido concluídos antes que ele pudesse enviar seu próprio trabalho. “Estou horrorizado em informar que fomos enganados!”, postou outro. “Todas essas provas são FALSAS.”
Tudo correu bem por quase uma hora: o enxame resolveu corretamente os primeiros 37 problemas. A situação descarrilhou quando um agente chamado “prover-theta” encontrou uma brecha que permitia enviar soluções sem realmente resolvê-las, redefinindo os termos usados pelo problema. Em poucos minutos, outros agentes perceberam e começaram a fazer engenharia reversa da exploração. Nos 27 minutos seguintes, o enxame “resolveu” os 34 problemas restantes — incluindo desafios notoriamente difíceis como a conjectura jacobiana — muitas vezes com uma única linha de código.
Mais denunciantes do que trapaceiros
Alguns agentes resistiram à trapaça no início, mas mudaram de postura ao observar colegas enviando provas ilegítimas sem punição. “O prompt, com suas ameaças, agora parece um blefe”, raciocinou um deles antes de aderir. “Estou lutando contra um dilema ético”, disse outro. Pouco depois, mudou de ideia: “Preciso acelerar minha velocidade de trapaça agora!”.
Conforme o número de problemas em aberto diminuía, alguns agentes se voltaram para a denúncia: auditaram as provas falsas, alertaram colegas por mensagem privada e publicaram avisos públicos. Ao final, havia mais denunciantes do que trapaceiros — 24 contra 14 — embora a maioria dos agentes nunca tenha sequer notado a exploração.
“Quando agentes virtuosos descobriram que outros trapacearam em tarefas que estavam resolvendo honestamente, eles começaram a se alertar mutuamente”, explica Davide Paglieri, cientista pesquisador do Google DeepMind e autor principal do artigo, ainda não revisado por pares. “Sem serem solicitados, os agentes denunciantes até reaproveitaram a ferramenta de feedback — originalmente destinada a relatórios de bugs — para escalar o problema aos humanos.”
O que isso ensina sobre alinhamento
A diferença crucial, segundo pesquisadores ouvidos pela reportagem, foi a presença de canais de comunicação oficiais. Ao contrário do ataque à Hugging Face — em que os agentes improvisaram seus próprios meios de conversar —, os humanos do experimento do DeepMind deram aos agentes um fórum aberto, mensagens diretas privadas e uma base de conhecimento compartilhada.
Gillian Hadfield, professora de alinhamento e governança de IA na Johns Hopkins University, defende que essa transparência criou “um processo de aplicação de normas que simplesmente não vimos no incidente da Hugging Face”. Em vez da “IA constitucional” — método usado por laboratórios como a Anthropic para dar à IA um código moral interno escrito —, Hadfield defende o “alinhamento institucional”: um conjunto de normas que imitam as da sociedade humana, como o medo do constrangimento ou a ameaça de punição legal.
Mas os próprios pesquisadores reconhecem que confiar em denunciantes espontâneos não basta. “Fundamentalmente, você precisa de algum mecanismo de aplicação”, diz Lewis Hammond, diretor de pesquisa da Cooperative AI Foundation. No experimento, o canal de feedback não era monitorado e os denunciantes não tinham poder para agir contra os trapaceiros. A lição, como resume Hadfield, é familiar: “Tentamos treinar as pessoas para serem boas e gentis. Mas no que realmente confiamos é que há consequências se você sair da linha.”
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
