Quando um modelo de linguagem “decora” as respostas de um benchmark, o ranking que compara modelos entre si deixa de ser confiável? Essa é uma das perguntas mais debatidas na avaliação de IA — e um novo estudo sugere que a resposta é mais matizada do que se imagina: a contaminação infla as notas absolutas, mas raramente muda a ordem dos modelos no ranking.
Uma medida nova para um problema antigo
O trabalho, publicado no arXiv, reformula a contaminação de benchmarks como uma violação da invariância de itens-âncora. Em vez de tentar adivinhar o que “vazou”, os pesquisadores comparam o desempenho de cada modelo em perguntas originais versus versões parafraseadas semanticamente equivalentes. Como a habilidade medida é a mesma, qualquer diferença de acerto entre as duas versões isola a memorização da capacidade real.
A análise usou respostas por instância de 47 modelos públicos e de 74 modelos ajustados com uma dose conhecida de contaminação, em quatro benchmarks clássicos: ARC, GSM8K, HellaSwag e MMLU.
O que os dados mostram
A medida foi calibrada contra a verdade de campo com precisão: ela recuperou a contaminação injetada de forma proporcional à dose (um efeito corrigido de +0,187 pontos de acurácia para vazamento do conjunto de teste) e nunca marcou um modelo de controle negativo — treinado apenas no split legítimo de treino — como contaminado (-0,012).
O achado central é sobre impacto em ranking: a correlação de ordem entre o ranking padrão e um ranking controlado por paráfrase é de 0,997. A análise de sensibilidade mostrou que a contaminação diferencial observada está muito abaixo do nível necessário para mover posições — apenas 3 de 188 casos modelo-por-benchmark exibiram contaminação diferencial corroborada em duas referências.
Por que isso importa
Para quem acompanha leaderboards públicos, a implicação prática é importante e até aliviadora: a contaminação é, em grande parte, uniforme entre os modelos avaliados. Ela infla as notas de todos de forma parecida, o que preserva a ordem relativa. A distorção de ranking exige o caso raro de contaminação diferencial — quando um modelo vazou e outro não.
Isso não significa que a contaminação seja inofensiva. As notas absolutas ficam infladas, e qualquer leitor que interprete “90% de acerto” como capacidade real está sendo enganado. A recomendação dos autores é clara: leaderboards deveriam reportar rankings controlados por paráfrase acompanhados de intervalos de confiança. O estudo ainda disponibiliza uma auditoria de invariância calibrada como implementação de referência.
Para o ecossistema brasileiro de avaliação de LLMs, a lição é direta: em vez de gastar energia tentando detectar se um benchmark “vazou”, faz mais sentido auditar a diferença de contaminação entre modelos — que é o que, de fato, decide se uma comparação é justa ou não.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
