Juízes de IA mais confiáveis: método em duas etapas mantém 90% de taxa de sucesso

O problema: juízes de IA nem sempre são confiáveis

Usar um LLM para avaliar a resposta de outro LLM — o padrão conhecido como LLM-as-judge — virou prática comum para treinar e comparar modelos sem depender de anotadores humanos. O problema é que, quanto mais respostas candidatas o modelo precisa julgar de uma vez, mais o acordo entre as decisões se degrada. Um novo pré-print do arXiv propõe uma solução elegante: localizar primeiro, decidir depois.

A ideia central: dividir em duas etapas

O framework Localize-Then-Decide quebra o julgamento em dois passos. Na Etapa I, o sistema identifica uma lista curta (shortlist) entre as respostas candidatas. Na Etapa II, escolhe uma resposta dentro dessa lista — e se abstém quando não consegue certificar a escolha com confiança. A Etapa I usa a pontuação EMP como critério de localização; a Etapa II pode usar EMP, KL ou Vote, pareadas com confiança top-1 ou por margem.

Os números favorecem a abordagem. Num comparativo com o modelo GPT-OSS-120B usando margem KL, as versões em duas etapas registraram Guarantee Success Rate (GSR) de 95% a 97% e cobertura de 64% a 72%. As versões em etapa única ficaram em 48% a 79% de GSR e 50% a 58% de cobertura. O GSR mede a proporção de repetições de calibração-e-teste em que o acordo sobre os casos aceitos atinge a meta escolhida; cobertura é a fatia de casos que o sistema aceita em vez de se recusar a decidir.

O que foi testado

A análise empírica cobriu quatro benchmarks de preferência com anotações humanas — TL;DR, Chatbot Arena, HH-RLHF e AlpacaEval — criando cerca de 3.000 instâncias multi-candidato para cada combinação, com conjuntos de 5, 10 e 20 candidatos. No modelo Qwen2.5-72B sobre TL;DR, o GSR em etapa única caiu de 82% (com 5 candidatos) para 50% (com 20 candidatos), enquanto a versão em duas etapas se manteve acima de 90% em todo o intervalo.

Para que serve na prática

A conclusão é relevante para quem roda pipelines de avaliação com LLMs em escala: restaurar o sinal de confiança à medida que o número de candidatos cresce. O estudo também testou configurações em cascata de três níveis, que alcançaram GSR de 91% a 95% cobrindo 77% a 81% das instâncias — com o modelo mais forte sendo acionado em menos de 30% dos casos, o que ajuda a economizar custo computacional.

Vale registrar as fronteiras do resultado: é um pré-print (arXiv:2608.25824v1, de 26 de agosto de 2026), ainda sem revisão por pares, e a garantia formal é condicional — depende de suposições como a intercambialidade entre dados de calibração e teste e uma condição de monotonicidade entre etapas. Os autores, ligados a instituições com apoio da NVIDIA e da Royal Society, não coletaram novos dados humanos.