On-policy self-distillation: por que a técnica pode reduzir o esquecimento em LLMs

O on-policy self-distillation (OPSD) é uma família emergente de técnicas de pós-treinamento em que o próprio modelo fornece sinais de aprendizado para si mesmo, mas em dois papéis diferentes. Em vez de ajustar um LLM apenas para imitar exemplos estáticos — o caminho típico do supervised fine-tuning (SFT) — a ideia é treinar sobre respostas geradas pela política atual do modelo. A promessa é adquirir uma habilidade nova com menor perda das capacidades já existentes. Em 2026, o tema ganhou atenção porque enfrenta um limite prático de modelos fundacionais: especializá-los sem degradar o que eles já sabem fazer.

O artigo Could On-Policy Self-Distillation Revolutionize Post-Training?, publicado pela Towards Data Science em 22 de outubro de 2026, organiza essa discussão a partir de trabalhos recentes. A principal fonte primária é o paper Self-Distillation Enables Continual Learning, que apresenta o método Self-Distillation Fine-Tuning (SDFT). O ponto central não é que o OPSD já substituiu SFT ou reinforcement learning (RL), mas que ele oferece uma hipótese técnica verificável para reduzir o chamado esquecimento catastrófico.

Resumo: o que muda no pós-treinamento

• SFT ensina um modelo a reproduzir respostas de demonstrações prontas; é eficiente, mas pode deslocar demais a distribuição de respostas do modelo-base.
• RL on-policy aprende com saídas da própria política atual e, em certos cenários, tende a preservar melhor capacidades anteriores; porém depende de recompensas confiáveis, que nem sempre existem.
• SDFT/OPSD procura aproveitar demonstrações sem tratá-las apenas como alvos estáticos: uma versão do modelo com contexto adicional atua como professora, enquanto outra aprende em trajetórias produzidas pelo próprio aluno.
• O resultado ainda é pesquisa: os ganhos relatados precisam ser reproduzidos em arquiteturas, escalas, domínios e avaliações independentes antes de virarem uma prática padrão de produção.

Por que esquecer é o problema real

Modelos fundacionais são pré-treinados com grandes coleções de dados e custo computacional elevado. Depois dessa etapa, equipes os adaptam para tarefas, estilos ou domínios específicos: atendimento, programação, extração de dados, raciocínio científico ou uso de ferramentas. O risco é que uma adaptação que melhore a métrica da tarefa nova reduza desempenho em tarefas antigas. Esse efeito é conhecido como esquecimento catastrófico.

Na prática, esse risco aparece quando um modelo passa a seguir muito bem um formato estreito, mas se torna menos útil fora dele; quando uma especialização em documentos internos prejudica a capacidade geral de responder; ou quando ciclos contínuos de ajuste produzem regressões difíceis de diagnosticar. Para empresas brasileiras, o problema tem impacto direto em custo e governança: se cada atualização exigir retreinar, reavaliar e reparar capacidades anteriores, a manutenção de modelos próprios fica mais cara e menos previsível.

O paper RL’s Razor: Why Online Reinforcement Learning Forgets Less argumenta que o RL on-policy pode preservar melhor o conhecimento anterior porque favorece soluções mais próximas da política inicial, medida pela divergência KL, entre diversas maneiras de resolver a nova tarefa. Isso não prova que RL seja sempre superior: ele exige uma função de recompensa ou um verificador que distinga respostas boas de ruins. Muitas organizações têm bons exemplos humanos, mas não têm recompensas automatizadas de alta qualidade.

Como o SDFT tenta combinar demonstrações e aprendizado on-policy

O SDFT, proposto no paper de janeiro de 2026, parte de uma observação simples: uma demonstração pode ajudar o modelo a produzir uma solução melhor quando é inserida no contexto. Essa versão condicionada pela demonstração atua como professora. A versão estudante recebe apenas o problema e produz suas próprias trajetórias. O treinamento aproxima, token a token, a distribuição do estudante da distribuição da professora nas trajetórias que o estudante gerou.

Esse detalhe é importante. Em SFT convencional, o modelo é otimizado para uma sequência produzida fora da política atual; por isso, ele pode aprender sobre um tipo de contexto de treino diferente do contexto que encontrará ao gerar respostas. No SDFT, as amostras vêm do estudante. A professora não é necessariamente outro modelo maior: é o próprio modelo em uma condição informacional mais favorável. Segundo os autores, isso cria sinais de treinamento on-policy a partir de demonstrações e reduz a necessidade de uma função de recompensa explícita.

O que os trabalhos publicados afirmam — e o que ainda não afirmam

Os autores de Self-Distillation Enables Continual Learning relatam que o SDFT superou SFT em tarefas de aquisição de habilidades e conhecimento, combinando maior acurácia na tarefa nova com menor esquecimento. Em experimentos sequenciais, o artigo afirma que um único modelo acumulou múltiplas habilidades sem regressão de desempenho. Essas são alegações dos autores, baseadas em seus protocolos experimentais; não devem ser lidas como garantia de que o método preservará qualquer capacidade em qualquer LLM comercial ou aberto.

Uma revisão conceitual posterior, A Brief Overview: On-Policy Self-Distillation In Large Language Models, descreve OPSD como uma estrutura em que o modelo atua como professor e aluno sob papéis de contexto diferentes. O texto cita reduções de memória frente à destilação on-policy convencional, mas esse número depende da implementação e do desenho experimental; portanto, não deve ser transformado em estimativa de custo de infraestrutura para produção sem benchmark próprio.

✅ Onde a abordagem pode ser útil

• Atualização contínua de assistentes internos: equipes que recebem novos procedimentos e políticas podem testar se a adaptação mantém desempenho em fluxos antigos.
• Especialização com poucos exemplos confiáveis: domínios que têm boas demonstrações, mas não um sistema de recompensas automático, são candidatos naturais para avaliação.
• Treinamento de habilidades em sequência: cenários em que o modelo precisa aprender mais de uma capacidade ao longo do tempo, sem criar uma versão isolada para cada habilidade.
• Pesquisa de alinhamento e robustez: o método permite investigar se a distância entre a política ajustada e a política-base se relaciona com regressões observadas.
• Modelos abertos em ambientes controlados: organizações com infraestrutura de avaliação podem comparar SFT e SDFT mantendo o mesmo conjunto de testes de regressão.

⚠️ O que OPSD não resolve

• Não elimina a necessidade de avaliação. Um modelo pode preservar métricas gerais e ainda falhar em segurança, factualidade, idioma ou aderência a políticas.
• Não transforma uma demonstração ruim em conhecimento confiável. Se os exemplos forem incorretos, enviesados ou incompletos, o procedimento pode perpetuar esse problema.
• Não substitui verificação externa. Em tarefas de alto risco — saúde, crédito, jurídico ou segurança — o resultado precisa de validação especializada e controles independentes.
• Não é uma receita universal de produção. O campo é recente e há diferenças entre papers, objetivos de otimização, modelos-base e conjuntos de avaliação.

Como uma equipe técnica pode avaliar a ideia sem superprometer

1. Defina a habilidade nova e os testes de regressão antes do treino

Antes de escolher o algoritmo, separe um conjunto para medir a tarefa nova e outro, congelado, para medir capacidades que não podem piorar. Inclua avaliações de português brasileiro, instruções críticas, segurança, formatos estruturados e tarefas próprias do negócio. Sem essa linha de base, uma melhoria local pode esconder uma perda maior em outra parte do produto.

2. Compare condições equivalentes

O teste útil não é comparar um SDFT cuidadosamente ajustado contra um SFT mal configurado. Mantenha o mesmo modelo-base, volume de demonstrações, orçamento de passos, critérios de parada e protocolo de avaliação. Registre também a divergência em relação ao modelo original quando a infraestrutura permitir, pois o mecanismo proposto por RL’s Razor relaciona deslocamentos maiores da política a mais esquecimento.

3. Trate demonstrações como ativo de dados

Classifique origem, licença, idioma, data, revisor e tipo de tarefa de cada exemplo. Quando a professora recebe demonstrações no contexto, a qualidade desse material influencia diretamente o sinal de treinamento. Dados de baixa qualidade não se tornam seguros porque foram usados em uma técnica sofisticada.

4. Faça rollout reversível

Publique a variante ajustada atrás de uma camada de roteamento ou experimento, retenha a versão anterior e acompanhe métricas de erro, abandono, escalonamento humano e regressões de formato. O objetivo não é provar que OPSD é melhor em tese, mas descobrir se ele melhora uma tarefa relevante sem degradar o serviço real.

Falhas comuns na interpretação dos resultados

• ❌ “Menos esquecimento” significa “zero regressão”. Causa: confundir uma tendência média de benchmark com garantia. Solução: manter uma suíte de regressão específica para cada produto.
• ❌ Usar somente a acurácia da tarefa nova. Causa: otimizar uma métrica local. Solução: reportar lado a lado tarefa nova, capacidades antigas, segurança e custo de inferência.
• ❌ Assumir que toda destilação é OPSD. Causa: ignorar de onde vêm as trajetórias e quais informações cada papel recebe. Solução: documentar claramente política do aluno, contexto da professora e objetivo de divergência.
• ❌ Reusar demonstrações sem auditoria. Causa: tratar exemplos como material neutro. Solução: versionar dados, revisar respostas e remover conteúdo sem permissão ou sem validação.
• ❌ Migrar um fluxo de produção com base em um único paper. Causa: confundir resultado promissor com maturidade operacional. Solução: começar por experimento controlado e exigir replicação interna.

FAQ: dúvidas práticas sobre on-policy self-distillation

OPSD é o mesmo que reinforcement learning?

Não. Ambos podem usar trajetórias da política atual, mas RL normalmente depende de recompensas; o SDFT descrito pelos autores usa uma professora condicionada por demonstrações para fornecer o alvo de aprendizado.

O método dispensa um modelo professor maior?

Na formulação descrita no paper de SDFT, o mesmo modelo pode ocupar os papéis de professora e estudante sob contextos diferentes. Isso não significa que qualquer implementação de destilação dispense modelos externos.

Ele serve para modelos proprietários por API?

Em geral, não diretamente, porque o treinamento exige acesso aos pesos ou a uma infraestrutura de ajuste do modelo. Para APIs fechadas, a aplicação mais próxima é melhorar dados de exemplos e avaliações, não reproduzir o algoritmo completo.

Como saber se houve esquecimento?

Meça antes e depois em uma suíte congelada de tarefas importantes. Compare não apenas uma média, mas também categorias sensíveis, idiomas, formatos de saída e cenários de segurança.

Já é recomendável para produção?

É recomendável para pesquisa aplicada e pilotos bem instrumentados. A evidência atual é promissora, mas não substitui benchmark próprio, revisão de risco e validação independente.

Análise do NoticIA

O valor mais interessante de OPSD não está em uma possível redução imediata de custo, mas em mudar a pergunta de engenharia. Em vez de avaliar o pós-treinamento apenas por quanto ele melhora uma tarefa, equipes podem passar a perguntar quanto de comportamento útil foi preservado durante a melhoria. Essa mudança é particularmente relevante para empresas brasileiras que adaptam modelos abertos a processos internos e têm pouco orçamento para retreinamentos completos.

O contraponto é que a técnica pode criar uma falsa sensação de autonomia: um modelo que ensina a si mesmo continua limitado pela qualidade das demonstrações, dos testes e das escolhas humanas de objetivo. A adoção responsável dependerá menos do rótulo “on-policy” e mais da disciplina de dados, avaliação contínua e reversibilidade operacional.

O que acompanhar a partir de agora

Os próximos sinais relevantes serão reproduções por grupos independentes, resultados em modelos e idiomas diferentes, benchmarks que comparem custo e qualidade sob o mesmo orçamento e estudos de falha. Se esses resultados se confirmarem, o OPSD pode se tornar uma peça útil em pipelines de aprendizado contínuo; se não, ainda terá deixado uma contribuição importante ao tornar mensurável o custo de esquecer durante o pós-treinamento.