DualOPSD: professor adaptativo melhora o raciocínio matemático de LLMs

Um resultado que mudou com o tamanho do modelo

Um novo estudo investiga uma questão central do treinamento de LLMs: o “professor” que orienta o modelo durante a auto-destilação deve continuar aprendendo no processo? A resposta, segundo o método DualOPSD, é sim — e o ganho aparece com força em modelos maiores.

Nos testes, o DualOPSD elevou a pontuação média em raciocínio matemático do Qwen3-8B em relação ao método anterior (OPSD): +23,61 pontos percentuais no AIME 2024, +13,89 no AIME 2025 e +10,00 no HMMT Fevereiro 2025. São benchmarks de matemática competitiva, dos mais usados para medir raciocínio de modelos de linguagem.

O efeito, porém, não é uniforme. A vantagem do DualOPSD se concentra nas escalas maiores: no modelo de 4B, ele superou o OPSD por 13,06, 5,00 e 6,67 pontos nos três benchmarks. Já no de 1,7B, a comparação se inverteu — o DualOPSD ficou abaixo do OPSD em 3,61, 1,94 e 1,94 pontos. Ou seja, o professor adaptativo ajuda mais quando há capacidade de modelo para explorar.

Como o professor aprende junto

O DualOPSD funciona como um circuito fechado. O aluno recebe supervisão por forward-KL de um professor privilegiado; em seguida, o professor é atualizado com reverse-KL de vocabulário completo em direção ao aluno recém-atualizado, na mesma trajetória. O professor adaptado passa a fornecer alvos para as atualizações seguintes — sem gerar um rollout separado e sem depender de um verificador de correção.

Cada passo de otimização usou um lote de 32 prompts, um rollout do aluno por problema e no máximo 1.024 tokens. Aluno e professor foram atualizados em sequência usando os mesmos IDs de token e máscara. Uma ablação mostrou que a versão completa (reverse-KL total) superou uma versão com clipping inferior em 2,87 pontos na média.

Saída mais limpa — com um custo e um aviso

A precisão não foi a única diferença. O DualOPSD também reduziu o truncamento de saída em todas as escalas: 2,31% contra 9,63% no modelo de 4B, 1,20% contra 3,24% no de 1,7B e 3,33% contra 8,43% no de 8B. Na prática, menos respostas cortadas no meio — um problema comum em geração de raciocínio longo.

O custo, porém, é computacional: manter e atualizar um professor em paralelo ao aluno adiciona sobrecarga. E o aviso dos próprios autores é claro — o método é promissor em escala, mas não é bala de prata para modelos pequenos. Para quem treina LLMs de raciocínio, a lição prática é que a arquitetura do “professor” importa tanto quanto os dados.