Esquecimento em LLMs: o padrão do ajuste importa mais que o tamanho

Por que “ensinar um modelo a esquecer” ainda é difícil

Técnicas de machine unlearning — fazer um modelo de linguagem “desaprender” um conteúdo específico — são cada vez mais relevantes por motivos práticos: atender a pedidos de remoção de dados (como exige a LGPD no Brasil e o GDPR na Europa) e eliminar conhecimento perigoso, como instruções de cibersegurança ofensiva. O problema, porém, é que o conhecimento supostamente apagado muitas vezes volta quando o modelo passa por um novo treino.

O que o estudo mediu

Um preprint publicado em 26 de agosto de 2026 propõe uma métrica chamada FRAG (Forget-Retain Alignment Gap), que mede o quanto um ajuste de desaprendizado se alinha aos pesos importantes para esquecer e evita os pesos importantes para reter. A hipótese central: um bom desaprendizado deve concentrar as mudanças nos pesos “críticos para esquecer” e poupar os “críticos para reter”.

Os pesquisadores testaram isso expondo o modelo a uma segunda rodada de fine-tuning (o “ataque de reaprendizado”) e medindo quanto do material alvo retornou. A métrica FRAG teve correlação de -0,78 com a recuperação do conhecimento, contra apenas -0,36 da distância L2 global — a medida tradicional de “quanto os pesos mudaram”.

Resultados e limitações

Os experimentos usaram os benchmarks TOFU (LLaMA-3.2-1B/3B), WMDP-cyber (Qwen2.5-14B) e MUSE-News (LLaMA-2-7B). O método associado, chamado FRP, apresentou a menor recuperação pós-ataque entre os métodos que preservaram utilidade — mas com uma queda maior no MMLU que os concorrentes RMU e SP, o que o coloca numa fronteira de “robustez versus utilidade”, não como vencedor universal.

Vale a ressalva: é um preprint não revisado por pares, sem intervalos de confiança ou testes de significância, e restrito a três benchmarks e algumas famílias de modelos. A conclusão mais estreita é que o alinhamento “esquecer–reter” pode ser um guia mais útil que a distância bruta dos pesos — não uma prova de causalidade.