Avaliar agentes de IA só pelo resultado final engana, mostra estudo

O julgamento cego ao caminho

Quando um agente de IA executa uma tarefa, a avaliação padrão da indústria é simples: mostrar ao juiz o pedido e a resposta final, e perguntar se foi bem resolvido. O problema, aponta um novo pré-print do arXiv, é que essa métrica é estruturalmente cega a um agente que chega à resposta certa pelo caminho errado.

O trabalho trajectory-judge mede exatamente esse ponto cego em um ambiente onde a verdade é conhecida por construção: um ambiente de suporte determinístico com ferramentas, uma política-oráculo que sempre resolve o problema e um injetor de falhas que quebra exatamente uma coisa em um passo conhecido.

As falhas são estratificadas entre silenciosas (o resultado visível ao cliente sobreviveu) e ruidosas (o resultado foi afetado). Cinco juízes — regras programáticas, avaliação apenas por resultado, rubricas passo a passo em dois tamanhos de modelo e um ensemble por autoconsistência — são pontuados em detecção, localização do passo, tipagem da falha, calibração e custo, ao longo de mais de 400 trajetórias.

O número que resume o problema

O juiz que avalia apenas o resultado final captura 84% das falhas ruidosas, mas só 45% das silenciosas — ao mesmo tempo em que sinaliza incorretamente 33% das trajetórias corretas. Em outras palavras, ele erra justamente onde é mais perigoso: quando o agente parece ter acertado, mas executou uma etapa de forma errada no meio do caminho.

Por que isso importa

Para empresas que começam a colocar agentes em produção, a implicação é direta: confiar em “o resultado final estava certo” pode mascarar falhas de processo que vão se manifestar em casos futuros, com consequências em custo, segurança e conformidade. A avaliação por trajetória — observando não só o quê, mas o como — deixa de ser um luxo acadêmico e passa a ser uma exigência de auditoria.

Como todo pré-print, os resultados refletem um ambiente controlado e precisam de replicação em cenários reais. Ainda assim, o estudo fornece uma régua concreta e barata para medir a qualidade dos próprios avaliadores de agentes — uma camada que poucas equipes hoje examinam.