Mostrar a um avaliador de IA uma nota anterior pode mudar de forma considerável a classificação que ele dá. É o que sugere um preprint que testou oito modelos de linguagem e constatou que, em sete deles, a simples presença de um campo de “pontuação prévia” nos metadados derrubou as notas de forma consistente. O estudo — aceito no ACM CIKM ’26 — tem implicação direta para quem usa LLMs como juízes em pipelines de avaliação automática.
O que os juízes viram
O experimento comparou três condições: C0 (sem metadados), C1 (com enquadramento de revisão) e C2 (com campos de revisão, tentativa e pontuação prévia). Os juízes avaliaram uma resposta candidata numa escala de 0 a 5, com 4,0 como limiar de aceite. As âncoras foram randomizadas de forma independente da qualidade da resposta, apresentadas como avaliações anteriores genuínas.
O benchmark envolveu 192 mil avaliações tentadas e 185.271 bem-sucedidas em oito modelos e 20 textos fixos. O efeito padronizado descritivo foi de -0,71 para o Llama-3.2-3B e -0,67 para o GPT-4.1, enquanto o Claude-4.5-Sonnet teve o maior deslocamento absoluto, de -0,706 pontos.
A queda chega à linha de corte
O mesmo padrão apareceu na fronteira de aceitação. No limiar de 4,0, a condição C2 reduziu a aceitação estimada em seis dos oito modelos: -22,29 pontos percentuais para o Claude-4.5-Sonnet, -14,40 para o GPT-4.1, -8,91 para o Qwen2.5-7B e -5,74 para o Gemma-2-9B. O efeito variou por categoria de tarefa — a revisão de código foi a menos afetada (média de -0,047 pontos), enquanto a resposta factual caiu -0,338 em média.
O viés aparece também em fluxo de trabalho real
Numa verificação separada com 441 amostras proprietárias de campanhas de mensagens, o padrão se repetiu. Num grupo de casos que o classificador original havia errado, a taxa de correção sob C2 caiu para 11,26%, contra 21,62% sob C0 — uma queda de 10,36 pontos percentuais. Entre os casos que estavam corretos, 10,18% passaram a seguir o rótulo errado sugerido pela âncora.
As correções simples não bastaram
Dois ajustes de prompt foram testados: pedir raciocínio passo a passo (chain-of-thought) e adicionar um aviso explícito para ignorar metadados. Nenhum eliminou a diferença. O chain-of-thought aumentou o efeito em 47,7% em valor absoluto; o aviso achatou a inclinação interna, mas elevou o uso de tokens em 6,2%. Como a condição C2 altera mais de um campo ao mesmo tempo, o estudo não isola a pontuação prévia como causa única — os autores recomendam testes de mitigação sob medida para cada modelo, tarefa e fluxo.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
