Por que seu agente de IA passa no teste mas falha em produção: o problema da consistência

O problema que ninguém mede

Seu agente de IA funciona no ensaio, mas falha na demo ao vivo — e, pior, falha a mesma tarefa que já havia concluído. Em produção, isso deixa de ser constrangimento e vira um problema de confiabilidade: um fluxo que teve sucesso uma vez pode falhar na próxima execução. Para trabalho crítico, como conciliar uma transação financeira ou revisar um contrato, é um bloqueio definitivo.

Pesquisadores da IBM Research mostraram o tamanho do problema em números. Em um agente ReAct usando GPT-4.1 no benchmark AppWorld, a taxa média de sucesso foi de 77,4% — mas o agente conseguiu acertar todas as cinco repetições em apenas 53,0% das tarefas. São 24,4 pontos percentuais de diferença entre “parece capaz” e “dá para confiar”.

Média esconde inconsistência

A métrica padrão dos benchmarks — Mean@k — roda uma tarefa k vezes e calcula a média. É o número que aparece em todo ranking. Mas ela responde “quão bom é esse agente, em média?”, não a pergunta que o usuário real faz: “ele ainda vai funcionar se eu repetir a mesma solicitação?”.

Para isso existe o Pass^k: a fração de tarefas em que o agente acerta em todas as k execuções. É o espelho pessimista do conhecido Pass@k. E a distância entre Mean@k e Pass^k é o que os pesquisadores chamam de “consistency gap” (lacuna de consistência) — um eixo independente da capacidade do modelo. Um modelo mais forte eleva a média, mas não necessariamente fecha a lacuna.

Por que os agentes “flipam”

Toda decisão de um agente — qual API chamar, qual argumento passar, se deve tentar de novo — sai de uma distribuição de probabilidade sobre os próximos tokens. O que importa é o formato dessa distribuição: uma distribuição “afiada” concentra a massa em um único token e repete a mesma escolha; uma distribuição “achatada” espalha a probabilidade entre vários tokens quase empatados, e o vencedor vira praticamente cara ou coroa.

Como uma trajetória encadeia dezenas de decisões, uma pequena chance de virada em cada passo se multiplica em uma grande chance de algum resultado sair diferente. É daí que vem a lacuna de 24 pontos.

Diagnosticar e corrigir

A solução dos pesquisadores — o Consistency Analyzer — reamostra a própria trajetória gravada do agente para encontrar os pontos de decisão propensos a virar. Ele faz isso com uma única chamada extra por passo de decisão, sem reexecutar a tarefa de ponta a ponta e sem precisar de gabarito. Cada passo sinalizado vira uma diretriz de consistência que entra no pipeline do ALTK-Evolve, o sistema de código aberto que transforma trajetórias passadas em diretrizes reutilizáveis.

Resultados: lacuna cortada pela metade

Aplicando as diretrizes, o Pass^5 agregado subiu de 53,0% para 69,0%, enquanto o Mean@5 subiu de 77,4% para 81,0% — reduzindo a lacuna de 24,4 para 12,0 pontos percentuais, sem qualquer perda de precisão média. Quase um terço das tarefas antes inconsistentes passou a ser acertada em todas as execuções. E as diretrizes se generalizam: em tarefas similares, o ganho foi de +13,0 pontos, sinal de que capturam padrões de falha reutilizáveis, não memorização de uma trajetória.

Se você está lançando um agente

• Reporte Pass^k junto com Mean@k: médias não distinguem um agente confiável de um sortudo;
• Espere a lacuna crescer com a dificuldade: a camada mais difícil é onde a média mais engana;
• Não recorra a um modelo maior primeiro: consistência é ortogonal à capacidade;
• O diagnóstico não precisa de gabarito nem replay ao vivo: uma chamada extra por passo de decisão basta.