AWS apresenta métrica para avaliar agentes de IA em conversas de múltiplas etapas

Um erro cometido na segunda rodada de uma conversa com um agente de IA pode silenciosamente contaminar todas as respostas seguintes — e a maioria das ferramentas de avaliação atuais não consegue enxergar isso. É essa lacuna que o time da AWS busca fechar com a Agent Evaluation Metric (AEM), uma métrica apresentada no blog de machine learning da companhia que avalia agentes de IA em conversas de múltiplas etapas de forma decomponível, turno a turno.

O problema das avaliações de etapa única

Agentes de IA em conversas longas falham de maneiras que a avaliação de resposta única não captura. Em uma conversa de cinco turnos, por exemplo, um agente pode escolher a ação certa, mas trocar “lucro” por “receita” no segundo turno — um único erro que se propaga silenciosamente por todos os turnos seguintes.

Uma avaliação no nível da tarefa só checa o resultado final: marca toda a interação como falha sem revelar que apenas um turno precisava de correção. É o problema central apontado pelos autores Surafel Lakew, Sailik Sengupta e Sina Torfi: erros em cascata, que a avaliação de resultado não consegue separar de suas causas.

Como a AEM funciona

A AEM quebra a qualidade do agente em sub-métricas nomeadas e mensuráveis de forma independente. Nesta primeira versão, a corretude é medida por dois critérios:

• Veracidade (truthfulness): os valores produzidos pelo agente são factualmente consistentes com o esperado — tanto em parâmetros de chamadas de ferramentas quanto em respostas em linguagem natural.
• Completude (completeness): todos os elementos exigidos estão presentes — sem parâmetros ausentes nem respostas parciais.

Cada turno é classificado como resposta (quando o agente responde ao usuário) ou ação (quando invoca uma ferramenta). Para a resposta, a completude verifica se a réplica cobre toda a pergunta; para a ação, verifica se todos os parâmetros obrigatórios estão presentes e semanticamente corretos.

Comparação semântica em vez de correspondência exata

Um ponto importante é que as duas sub-métricas usam comparação semântica, não correspondência de string. “New York City” e “NYC” são semanticamente equivalentes, assim como “receita do 3º trimestre de 2024” e “valores de receita do terceiro trimestre de 2024”. O sistema pode usar um scorer baseado em embeddings (rápido e barato) ou uma chamada de LLM-como-juiz (mais nuançada), com um limiar que controla o quão estrita é a verificação.

Uma taxonomia de falhas acionável

Quando um turno falha, a AEM registra um motivo específico — como inconsistent_response (resposta não consistente), incomplete_response (resposta omite parte da informação), tool_mismatch (ferramenta errada selecionada), missing_parameters ou extra_parameters. Isso torna a pontuação acionável: em vez de “o agente marcou 70%”, o time descobre exatamente qual campo, parâmetro ou turno causou a queda.

A pontuação composta é, por padrão, uma média simples dos turnos aprovados, mas a regra é plugável — é possível usar médias ponderadas (dando mais peso a turnos com maior custo de erro) ou regras de bloqueio (uma falha em turno crítico limita a nota). A estrutura foi desenhada para estender-se a novas dimensões, como segurança e retenção de instruções, sem redesenhar a avaliação.

Por que isso importa

À medida que agentes de IA passam de demonstrações para produção em atendimento, vendas e automação de processos, avaliar a qualidade em conversas longas deixa de ser um luxo acadêmico. Uma métrica que aponta o turno exato da falha economiza horas de depuração e torna a correção dirigida — um avanço direto para qualquer equipe brasileira que opera agentes em ambientes corporativos.