Uma breve história da destilação de modelos: de 2006 aos LLMs modernos

A destilação de conhecimento — a técnica de transferir o “conhecimento” de um modelo grande e complexo (professor) para um modelo menor e mais eficiente (aluno) — é hoje uma das ferramentas mais importantes no arsenal de machine learning. Do GPT-4 ao Claude, do Gemini ao Llama, modelos destilados alimentam aplicações que rodam em dispositivos móveis, navegadores e APIs com latência mínima. Mas a história real dessa técnica é mais silenciosa, mais pragmática e mais fascinante do que a narrativa popular sugere.

Os movimentos conceituais que o campo fez entre 2006 e 2015 ainda definem como pensamos sobre destilação hoje. O vocabulário mudou. Os diagramas mudaram. As perguntas fundamentais permanecem as mesmas: o que exatamente constitui o “conhecimento” de um modelo, e como podemos transferi-lo de forma compacta?

As origens: compressão de modelos (2006-2013)

A semente da destilação foi plantada bem antes do deep learning dominar o campo. Em 2006, o trabalho de Cristian Buciluă, Rich Caruana e Alexandru Niculescu-Mizil propôs algo radical para a época: treinar uma rede neural compacta para imitar as predições de um ensemble grande e caro. A ideia era simples: em vez de rodar o ensemble inteiro em produção (custoso), você roda apenas a rede compacta que aprendeu a reproduzir seu comportamento.

O insight crucial deste trabalho foi que as predições do modelo professor contêm mais informação do que os rótulos de treinamento originais. Um classificador que recebe uma imagem de um gato não diz apenas “é um gato” — ele atribui probabilidades para todas as classes, revelando, por exemplo, que a imagem também se parece um pouco com um cachorro e nada com um carro. Essa “zona cinzenta” entre as classes contém informações riquíssimas sobre a estrutura do problema, que o modelo aluno pode aprender.

O framework de Hinton: destilação de conhecimento (2015)

O conceito ganhou seu nome moderno e formulação canônica em 2015, com o artigo seminal de Geoffrey Hinton, Oriol Vinyals e Jeff Dean: “Distilling the Knowledge in a Neural Network”. O paper introduziu o conceito de soft targets — as probabilidades de saída do modelo professor — em contraste com os hard targets dos rótulos originais.

A contribuição mais elegante do paper foi o uso de temperatura (T) no softmax. Ao aumentar a temperatura, as probabilidades do modelo professor ficam mais “suaves” — as classes similares recebem probabilidades mais altas, revelando as similaridades que o modelo aprendeu. O modelo aluno é então treinado para reproduzir essas probabilidades suavizadas, usando uma combinação da loss de destilação (com os soft targets) e da loss tradicional (com os hard targets).

# A ideia central em poucas linhas:
import torch.nn.functional as F

# Soft targets do professor (com temperatura T > 1)
soft_targets = F.softmax(teacher_logits / T, dim=1)

# Predições do aluno (mesma temperatura)
student_soft = F.log_softmax(student_logits / T, dim=1)

# Loss de destilação
loss_distill = F.kl_div(student_soft, soft_targets) * (T ** 2)

O fator T² na loss é um detalhe matemático importante: ele compensa o gradiente que é reduzido pelo quadrado da temperatura durante a backpropagation.

A era dos LLMs: destilação em escala (2023-2026)

Com a explosão dos grandes modelos de linguagem, a destilação ganhou uma nova dimensão. Treinar um modelo como GPT-4 ou Claude do zero custa centenas de milhões de dólares. Destilar uma parte de suas capacidades para um modelo menor custa ordens de magnitude menos — e é assim que modelos como o Llama 3.2 (1B e 3B parâmetros), Gemma e Phi foram criados.

Técnicas mais recentes expandiram o conceito de destilação:

• Destilação de dados (dataset distillation): em vez de transferir os pesos, sintetiza um dataset pequeno que captura a essência do conhecimento do professor. Útil quando você não pode distribuir o modelo original
• Destilação de raciocínio: o modelo aluno aprende não apenas as respostas, mas a cadeia de raciocínio (chain-of-thought) que o professor usou para chegar a elas
• Auto-destilação: o modelo aprende consigo mesmo — gera predições em diferentes temperaturas e usa as mais suaves para se refinar
• Destilação contrastiva: o aluno aprende o que o professor considera similar e dissimilar simultaneamente, preservando melhor a estrutura de similaridade do espaço latente

O que torna a destilação eficaz — e o que a limita

A eficácia da destilação depende de um fator muitas vezes subestimado: a qualidade da arquitetura do modelo aluno. Um bom professor não pode compensar um aluno com arquitetura ruim. O aluno precisa ter capacidade representacional suficiente para capturar o conhecimento, mesmo que com menos parâmetros.

Outro fator crítico é a similaridade de domínio entre professor e aluno. Se o professor foi treinado majoritariamente em código Python e o aluno será usado para texto em português, a destilação tende a transferir menos conhecimento útil do que se ambos operarem no mesmo domínio.

A limitação mais fundamental, porém, é que destilação não cria conhecimento novo. O aluno pode, no máximo, igualar o professor — e na prática sempre perde um pouco. Para capacidades emergentes (aquelas que só aparecem em modelos grandes), a destilação frequentemente falha em transferi-las para modelos significativamente menores.

O futuro da destilação

Com a tendência de modelos cada vez maiores (os “frontier models”) e a pressão por eficiência computacional, a destilação continuará sendo uma técnica central. As fronteiras atuais de pesquisa incluem destilação multimodal (transferir conhecimento entre texto, imagem e áudio), destilação federada (sem compartilhar dados entre instituições) e destilação contínua (modelos que aprendem incrementalmente com professores que também evoluem).

A pergunta que moveu o campo desde 2006 — “o que é o conhecimento de um modelo?” — permanece aberta. Mas a cada nova técnica de destilação, chegamos um pouco mais perto de uma resposta prática: conhecimento é o que pode ser transferido.