GAUGE: quando não confiar no LLM-como-juiz na avaliação de agentes de IA

O portão de avaliação que virou padrão

Comparar e selecionar agentes de IA orientados a tarefas depende cada vez mais de um portão de avaliação barato e offline: simuladores de usuário baseados em LLM conversam com cada candidato, um LLM-como-juiz pontua as transcrições, e o agente de maior nota é promovido. O GAUGE é um protocolo reutilizável que mede se esse ranking corresponde a uma recompensa verificável e fundamentada, em 25 agentes de seis fornecedores, nos benchmarks tau-squared-bench e SimulatorArena.

A lacuna entre satisfação e sucesso

O achado mais incômodo é uma lacuna satisfação-sucesso: a satisfação praticamente não carrega informação sobre o sucesso da tarefa. Conversas avaliadas como “satisfeitas” por um painel cego estão descorrelacionadas do sucesso real — 57,5% delas falharam na tarefa do cliente, um padrão consistente em cinco populações de avaliadores, ambos os benchmarks e todas as dimensões subjetivas avaliadas.

Ranking robusto, mas sem resolução fina

O ranking do portão é robusto na ampla faixa de capacidades, mas perde resolução entre agentes fortes quase empatados: a taxa de desacordo de decisão salta de menos de 1% em pares de recompensa distantes para 31% em pares próximos. Ou seja, o portão é validado por humanos, mas mal ancorado.

A solução proposta

Os autores propõem uma cadência “calibrar-depois-confiar”: um bit de conclusão sem juiz (a tarefa foi concluída ou não?) funciona como um tripwire de custo zero para regressões de truncamento. Para equipes que escolhem agentes em produção, o recado é claro: não promova um agente com base apenas na satisfação simulada — meça o sucesso da tarefa com um sinal verificável.