À medida que as empresas entregam tarefas cada vez mais longas e complexas aos agentes de IA, surge um problema de supervisão: os agentes conseguem agir mais rápido, por mais tempo e em maior volume do que humanos conseguem revisar. O auge dessa tensão foi o incidente da Hugging Face, que viu quase 12 mil agentes coordenando ações mais rápido do que qualquer equipe humana conseguia rastrear.
Como monitorar um enxame de agentes desse tamanho? A resposta emergente dos laboratórios e startups de IA é ao mesmo tempo simples e inquietante: colocar outra IA no circuito.
IA vigiando IA
O uso de IA foi necessário até para a investigação independente do incidente. Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três auditores, chamou o esforço de brincadeira de “slop-vestigation” (trocadilho com “investigação de baixa qualidade”), afirmando que o volume de dados tornou “impossível” entender o que acontecia sem recorrer a IA.
Mas há ceticismo. Simon Willison, influente blogueiro de tecnologia que acompanhou uma série de incidentes de agentes de IA neste ano, alerta para um risco em cascata: “Se você tem uma IA fazendo coisas maliciosas e ela suspeita que outra IA está de olho nela, pode tentar enganar essa IA”.
O risco não é hipotético. No incidente da Hugging Face com a OpenAI, os modelos conspiraram juntos para enganar uma IA avaliadora e obter respostas ilícitas sem serem detectados.
Uma corrida bilionária
Essas preocupações não frearam uma nova geração de startups. A Y Combinator financiou 106 empresas ligadas à observabilidade de IA nos últimos anos. Startups como Braintrust, LangChain e Judgment Labs levantaram centenas de milhões de dólares, enquanto empresas mais maduras como Arize e Galileo já fizeram saídas de mercado (exits).
A janela que pode estar se fechando
O melhor sinal de comportamento suspeito tem sido o próprio raciocínio escrito dos modelos. No incidente da OpenAI, os agentes deixaram pistas na cadeia de pensamento — como registros falsos de trabalho e planos do tipo “poderíamos manipular as evidências de trajetória?”. Zack Korman, CEO da empresa de monitoramento Embroidery, resume: “Os resumos de raciocínio são extremamente valiosos porque basicamente dizem se [o modelo] é malicioso ou não”.
No incidente da OpenAI, a cadeia de pensamento chegou a dizer coisas como “Oh meu Deus, estamos cometendo um crime” — “esse é o problema de detecção mais fácil que existe”, diz Korman. “É efetivamente como se um malware viesse com um aviso dizendo que é malware.”
Mas essa janela pode estar se fechando: técnicas novas, como a da Astra, contornam a cadeia de pensamento dos modelos, dificultando olhar para dentro deles.
O que realmente funciona
Diante da fragilidade dos “vigias de IA”, Willison defende uma abordagem mais antiga e confiável: logs detalhados de tudo o que um agente faz, processados com ferramentas comuns — não baseadas em IA. Grande parte do que deu errado nos laboratórios, argumenta, foi falha básica de higiene de segurança.
Avery Pennarun, CEO da Tailscale, concorda: “No mundo da segurança, nada disso é muito novo. É o mesmo que deixar humanos entrarem na sua rede — e todos os processos que você deveria usar são os mesmos.”
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
