Verificação por prefixo melhora a precisão de modelos de linguagem por difusão

Um pré-print apresenta uma técnica de verificação em tempo de teste para modelos de linguagem por difusão — a arquitetura que gera texto de forma iterativa, como o LLaDA — chamada Prefix-Denoising Consistency (PDC). Ela foi a melhor ou empatada em todos os 15 cenários de modelo e conjunto de dados avaliados.

Como a verificação funciona

O PDC parte da resposta inicial do modelo de difusão, mantém um prefixo escolhido, mascara as posições restantes e regenera o sufixo com o mesmo modelo. Em seguida, seleciona a resposta mais frequente entre as regenerações. O trabalho testou taxas de retenção de 0,1, 0,5 e 0,9 (condicionamento fraco, intermediário e forte), com três regenerações por execução.

A resposta inicial fica de fora da votação final e é usada apenas para diagnóstico. A lógica por trás do método: respostas iniciais corretas tendem a se preservar nas regenerações, enquanto respostas erradas tendem a não se repetir — essa diferença é o sinal de reprodutibilidade que o PDC explora.

Ganhos por família de modelo

As avaliações usaram Dream-7B, LLaDA-8B e LLaDA-1.5 nos conjuntos GSM8K, MATH-500, SVAMP, CSQA e SQA. O Dream-7B melhorou sobre a geração inicial em todos os conjuntos listados; a família LLaDA melhorou em nove dos dez pares e empatou no restante. O ganho médio foi de 1,27 ponto para o Dream-7B e 1,73 para a família LLaDA.

Em uma comparação de orçamento mais alto, o PDC foi melhor ou empatado em 14 de 15 cenários frente ao “INIT ×4” (votação majoritária sobre quatro gerações independentes), com ganhos de até 9,25 pontos de precisão.

A técnica se conecta a uma tendência importante: conforme modelos de difusão de linguagem ganham espaço como alternativa aos transformadores autoregressivos, métodos de “pensar de novo” em tempo de teste — já populares em modelos como o o1 — precisam ser adaptados à nova arquitetura. O PDC mostra que essa adaptação é viável e barata.