Autodestilação de LLMs: por que métricas de benchmark escondem a perda de diversidade

Autodestilação de modelos: o mesmo sintoma, três alavancas

Quando um modelo de linguagem aprende raciocínio matemático destilando o próprio raciocínio (on-policy self-distillation), os resultados parecem contraditórios: a taxa de acerto na primeira tentativa sobe, mas a de múltiplas tentativas cai. Um novo preprint do arXiv mapeia por quê.

O estudo One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation (autores Justin Robert e Raheel Qader) é uma revisão estrutural, não um experimento novo. Ele organiza o campo em torno de três decisões de design que explicam a maioria dos resultados divergentes.

O sintoma: métricas que não andam juntas

Nos estudos citados, pontuação de benchmark, diversidade funcional (o leque de alternativas úteis que o modelo produz) e custo de treinamento não se movem na mesma direção. Em uma comparação, o pass@1 (uma tentativa) subiu enquanto o pass@16 (dezesseis tentativas) caiu; em outra, menos tokens gerados vieram acompanhados de menor custo de otimização.

O ponto central: um resultado pass@1 maior é compatível com menor diversidade funcional. O modelo fica bom em acertar de primeira, mas perde a capacidade de explorar alternativas — exatamente o que o pass@16 mede.

As três alavancas

1. Posicionamento do sinal. Onde o sinal de destilação é aplicado importa. Uma análise “oráculo” estimou que destilar apenas tokens positivamente alinhados poderia melhorar o sinal por um fator de 10 a 15 — embora o ganho não tenha sido convertido em melhoria efetiva de treinamento.

2. Conteúdo de informação privilegiada. Quanto do raciocínio do professor o aluno vê. Uma comparação baseada em entropia trouxe um alerta específico: ao longo do treinamento, o token mais provável do aluno mudou 84 vezes em tokens de alta entropia, contra apenas 7 no regime de baixa entropia. Tokens de alta entropia representavam 6,8% dos tokens do aluno, contra 18,5% do professor — e a revisão conclui que entropia não é um proxy válido para diversidade funcional.

3. Timing do professor. A exposição adaptativa do professor varia o quanto da trilha de raciocínio é mostrada conforme o progresso do aluno. Ganhos relatados foram de 0,95 a 2,33 em avg@12 nos modelos Qwen3-1.7B, 4B e 8B — mas a estabilidade de longo prazo e o melhor cronograma seguem em aberto.

O que ainda está em disputa

O esquecimento catastrófico (catastrophic forgetting) continua sem direção definida: um estudo citado encontrou menos esquecimento com autodestilação, enquanto outro achou que a autodestilação densa esqueceu mais que o aprendizado por reforço esparso — e poderia colapsar. A revisão destaca esses relatos conflitantes em vez de apontar uma solução única.

A mensagem para quem treina modelos: não existe um design “melhor” de autodestilação. As três perguntas — onde colocar o sinal, o que mostrar ao aluno e quando — precisam ser respondidas de forma explícita para cada configuração, porque métricas de benchmark sozinhas escondem a perda de diversidade funcional que a autodestilação pode causar.