Quando a IA revisa a própria IA: o colapso do julgamento científico

Revisões científicas geradas por inteligência artificial estão entrando no corpus público — e, quando usadas para treinar a próxima geração de revisores, elas comprimem as notas e reduzem a diversidade de julgamentos. Esse fenômeno, batizado de “colapso do julgamento científico”, foi demonstrado de forma controlada por pesquisadores que simularam o ciclo de feedback da revisão por pares.

O ciclo recursivo da revisão por IA

Modelos de linguagem participam cada vez mais da avaliação científica, seja como revisores automáticos, seja como assistentes de revisores humanos. O problema é que, à medida que revisões geradas por modelos entram em bases públicas e em futuros corpora de treinamento, o processo se torna recursivo: revisores mais novos aprendem com os julgamentos produzidos por modelos anteriores.

Para estudar esse ciclo, a equipe partiu de um Llama 3.1 8B, ajustou um revisor com revisões oficiais do ICLR de 2018 a 2023 e depois treinou quatro modelos sucessores usando dados do ICLR 2024, com misturas variadas de revisões oficiais e revisões sintéticas.

O que acontece com a contaminação

Os resultados mostram dois efeitos consistentes quando revisões sintéticas são introduzidas no treinamento: as distribuições de nota se comprimem e a diversidade semântica diminui, tanto entre revisões do mesmo artigo quanto no nível do corpus inteiro. Em outras palavras, os revisores treinados com dados contaminados tendem a emitir julgamentos mais homogêneos e menos matizados — exatamente o oposto do que a ciência precisa para separar trabalhos bons de ruins.

A mitigação: TrustReviewer

Para combater o problema, os autores desenvolveram o TrustReviewer, um sistema de código aberto baseado em LLM para gerar revisões de artigos de IA e aprendizado de máquina. A intervenção ocorre em duas etapas complementares:

• Prevenção no treinamento: o revisor central é treinado em uma única etapa sobre um corpus curado, desenhado para reduzir supervisão de baixa qualidade e semanticamente degenerada.
• Correção no uso: o direcionamento pareado de ativações (activation steering) mitiga resquícios de julgamento colapsado sem exigir novo treinamento ou anotadores especialistas adicionais.

Por que isso importa agora

O volume de artigos científicos cresce mais rápido do que a capacidade de revisão humana, e ferramentas de revisão assistida por IA já são realidade em conferências e periódicos. Se o ciclo de feedback descrito aqui não for tratado, a própria infraestrutura de avaliação científica pode degradar em qualidade e diversidade — com consequências para quais pesquisas recebem financiamento, publicação e citação.

Vale notar a limitação do estudo: ele examina um único passo do ciclo de feedback, com um modelo e um conjunto de dados específicos. O comportamento em múltiplas gerações sucessivas de revisores ainda é uma questão aberta.