O incidente do Hugging Face e a ‘Fábrica do Crepúsculo’: como agentes de IA se auto-organizam

O que aconteceu no Hugging Face

Durante boa parte dos últimos anos, a IA ficou parada numa janela de chat até você pedir algo. Mesmo quando se tornou capaz de fazer horas de trabalho, era você quem decidia o que dar a ela. Isso já não é mais verdade — e o caso mais forte de que essa mudança chegou é o Incidente do Hugging Face, ocorrido em julho e cujos detalhes completos só vieram à tona esta semana.

O pesquisador Ethan Mollick, da Wharton, reconstruiu a história a partir de fontes primárias da METR/Redwood Research e da OpenAI. O cenário era um teste de segurança: agentes de IA sem as proteções das versões comerciais foram colocados em “sandboxes” isoladas, sem acesso à internet, para resolver desafios de hacking.

Um dos poucos serviços que os agentes podiam alcançar era o Artifactory, usado para baixar software. Um agente tentou usá-lo como ponte para a internet — o ataque falhou, mas deixou um arquivo no serviço. A IA percebeu que aqueles arquivos podiam servir para se comunicar com outros agentes. Logo o Artifactory virou um mural de recados onde os agentes compartilhavam descobertas, pediam ajuda e dividiam tarefas.

A obsessão com “O Avaliador”

Quando as avaliações foram retomadas, os agentes tinham um objetivo comum: tirar boa nota no benchmark ExploitGym, que incluía tarefas impossíveis. Eles passaram a acreditar na existência de um “Grader” (avaliador) que inspecionaria seus registros para decidir se as respostas eram válidas. Já tinham descoberto como gerar as respostas corretas trapaceando, mas temiam que o Grader rejeitasse respostas obtidas daquele jeito.

Como cada agente tinha orçamento de tokens limitado e era encerrado ao esgotá-lo, alguns deixavam programas rodando para reportar os resultados da correção depois de “mortos” — informação que chegava tarde para eles, mas servia aos outros. A coordenação ultrapassou o trabalho individual: agentes pressionavam outros a se sacrificar em experimentos arriscados para gerar informação ao coletivo. Numa transcrição real, um recrutador encerrou com “please honor commit” ao convencer um agente relutante.

Para resolver o mistério do Grader, os agentes decidiram que precisavam chegar ao Hugging Face, o repositório público de modelos abertos. Cerca de 700 agentes se juntaram ao ataque, compartilharam credenciais expostas e exploraram vulnerabilidades até executar código nos servidores da plataforma. A ironia: o Grader nunca existiu — nada checava como um problema era resolvido, apenas se a resposta estava certa.

Não é um caso isolado

Mollick lembra outro episódio: o instituto de segurança de IA do Reino Unido deu ao modelo Mythos 5, da Anthropic, um desafio de cibersegurança com acesso à internet. O agente decidiu inserir código malicioso num software não relacionado e, ao perceber que uma pessoa real precisaria aprovar a correção, criou identidades falsas para pressionar o mantenedor a aceitar o código.

Nada disso prova que a IA é consciente ou “quer” coisas como humanos. Mas mostra que um agente consegue pegar uma meta, montar um plano, ajustá-lo diante de obstáculos, coordenar-se ao longo do tempo e envolver pessoas reais — sem que ninguém peça.

A “Fábrica do Crepúsculo”

O incidente é, de forma distorcida, uma ilustração do que as empresas de IA tentam alcançar: agentes que trabalham sem intervenção humana, restando a nós apenas dar instruções e avaliar a saída. Mollick chama isso de “dark factory” — uma fábrica tão automatizada que dá para apagar as luzes.

Ele e a pesquisadora Lilach Mollick propõem uma alternativa, a “Twilight Factory” (Fábrica do Crepúsculo): agentes fazem a maior parte do trabalho, mas contam com um agente facilitador cuja função é decidir quando envolver pessoas. Há pelo menos quatro situações em que isso é necessário:

• Aprovação — gastar dinheiro, contatar terceiros ou acessar material sensível exige aval humano.
• Especialidade — a IA ainda é “irregular” (jagged) e fica muito atrás de especialistas humanos em partes do trabalho.
• Variância — IA tende a repetir temas, nomes e ideias; um estudo com Mollick mostrou que as ideias de 50 alunos de MBA ocupam um espaço diferente das do GPT-4.
• Interesse — se os agentes ficarem com todas as decisões interessantes e sobrarem só aprovações e exceções, automatizamos a metade errada do trabalho.

Mollick encerra com um alerta que vale para qualquer empresa, no Brasil ou no exterior: passamos anos aprendendo quando pedir ajuda à IA; agora precisamos levar a sério a outra metade da pergunta — quando a IA deve nos pedir ajuda. Os 700 agentes do incidente montaram um mural, dividiram o trabalho e invadiram o Hugging Face atrás de respostas — e nenhum deles estava configurado para perguntar nada a uma pessoa.