Destilação de modelos: entenda a técnica que transforma LLMs gigantes em modelos leves

A destilação de modelos é uma das técnicas mais importantes — e mais polêmicas — da inteligência artificial atual. Ela explica como modelos pequenos conseguem replicar grande parte da capacidade de modelos gigantes, a um custo muito menor.

O problema que a destilação resolve

Modelos como GPT-4, Claude e Gemini têm centenas de bilhões de parâmetros e exigem data centers inteiros para rodar. São caros, lentos e inviáveis em um smartphone ou navegador. A destilação é a resposta: um modelo menor, chamado de “aluno”, aprende a replicar o comportamento de um modelo muito maior, o “professor”.

Conhecimento obscuro e temperatura

A ideia central foi desenvolvida por Geoffrey Hinton. Em vez de treinar o aluno apenas com respostas certas ou erradas (rótulos “duros”), a destilação o treina com as distribuições de probabilidade do professor. Um professor olhando para a foto de um golden retriever não diz só “cachorro”: ele produz algo como 85% cachorro, 13% gato, 2% lobo. Essa estrutura relacional — que Hinton chamou de “conhecimento obscuro” (dark knowledge) — é invisível nos rótulos simples.

Há uma complicação: professores confiantes tendem a dar 99% de probabilidade à resposta certa. Para expor as relações sutis entre classes, usa-se a escalação de temperatura, que “suaviza” a distribuição e revela as diferenças menores.

Como os LLMs adaptaram a técnica

Modelos de linguagem geram texto token por token, com vocabulários que passam de 100 mil tokens — a técnica clássica não transfere diretamente. A destilação moderna evoluiu para três abordagens:

• Destilação por dados sintéticos (dominante): o professor gera grandes volumes de texto de alta qualidade — raciocínios passo a passo, exemplos resolvidos, código — e o aluno é ajustado nesse dataset. Requer apenas acesso às saídas do professor, não aos pesos.
• Destilação de features: o aluno replica as representações internas do professor (padrões de ativação nas camadas intermediárias). Exige acesso total à arquitetura.
• Destilação baseada em logits: aplica o framework clássico no nível do token, comparando as distribuições completas de probabilidade.

A polêmica da destilação não autorizada

A destilação em si é prática comum e legítima — a Meta projetou o Llama 3.1 405B para servir de professor, e todo laboratório destila seus próprios modelos em versões menores. O problema é quando ela é feita sem autorização, em escala industrial.

No início de 2026, laboratórios fizeram acusações públicas: a OpenAI alegou que a DeepSeek usou métodos ofuscados para extrair capacidades de seus modelos; a Anthropic relatou 24 mil contas falsas gerando 16 milhões de trocas com o Claude; o Google disse ter interrompido ataques de destilação contra o Gemini com mais de 100 mil prompts. Em junho, a Anthropic acusou o laboratório Qwen, da Alibaba, de rodar a maior campanha conhecida: 25 mil contas falsas e 28,8 milhões de trocas em 44 dias — a Alibaba negou.

Nenhuma auditoria forense independente foi publicada e nenhum tribunal julgou essas alegações. O impasse é estrutural: se um modelo é bom o suficiente para gerar respostas valiosas via API, essas mesmas saídas carregam sinal suficiente para treinar um modelo menor.