Pare de ranquear configurações de agentes por média: o método MaxDiff que revela o que a média esconde

Todo desenvolvedor de agentes eventualmente enfrenta a mesma pergunta: qual versão devo realmente colocar em produção? Você muda o modelo, reescreve o prompt, troca uma ferramenta de retrieval, roda um lote de testes. A média sobe um pouco. Uma versão ganha por dois pontos. Você publica a “melhor” média — e isso frequentemente é a decisão errada.

Performance de agentes raramente é simplesmente “modelo melhor + prompt melhor + ferramenta melhor”. A pergunta útil é como essas peças se comportam juntas. Um prompt que ajuda um modelo menor pode atrapalhar um mais forte. Uma ferramenta de busca semântica pode combinar perfeitamente com um prompt aberto e mal com um prompt rígido passo a passo.

Pare de tratar avaliação de agentes como um leaderboard

Este artigo de Doster Esh mostra um método pequeno e prático para testar isso. A abordagem usa comparações best-worst (melhor-pior) e um modelo de ranking Plackett-Luce para transformar escolhas comparativas em escores de utilidade para cada configuração e interação.

O experimento usa extração de JSON de faturas — não é glamouroso, mas é exatamente o tipo de trabalho que roda em produção. O schema é fixo, a correção importa e erros têm consequências downstream. Três fatores binários definem o espaço de configuração (2×2×2 = 8 pipelines):

O método MaxDiff na prática

Em vez de atribuir notas a cada resposta isoladamente, o método pede que um juiz (humano ou agente avaliador) selecione exatamente uma melhor e uma pior entre as respostas concorrentes para o mesmo input. Isso força o julgamento exatamente onde a variação importa.

Para builders agent-first, o artigo oferece um prompt pronto para delegar essa avaliação a um agente:

Crie um grid fatorial pequeno de configurações candidatas de agente.
Para cada exemplo de teste, rode várias configurações independentemente.
Anonimize os outputs. Peça a um juiz para selecionar exatamente
uma melhor e uma pior resposta. Ajuste um modelo Plackett-Luce
e reporte quais configurações devem ser implantadas, podadas ou
testadas em seguida.

Resultados que a média esconde

A análise Plackett-Luce revelou que o efeito de interação entre prompt e ferramenta era o fator mais forte — algo que uma simples média de scores jamais capturaria. O modelo Haiku com o prompt Systematic Planner e Semantic Search performou consistentemente melhor do que qualquer outra combinação, mesmo quando o GPT-5.4-mini vencia na média geral.

A lição prática: comparar configurações diretamente no mesmo exemplo revela padrões que ranking por média esconde. Se você só pontua cada resposta isoladamente, ranqueia as médias e escolhe o topo da tabela, está deixando sinal na mesa.