Estudo prevê quais neurônios importam após o fine-tuning antes mesmo de treinar o modelo

Por que isso importa

Fine-tuning de modelos de linguagem costuma ser feito às cegas: atualiza-se tudo e torce-se para dar certo. Um pré-print do arXiv propõe uma alternativa baseada em interpretabilidade: prever, antes do treino, quais partes do modelo vão importar para a tarefa e concentrar a atualização nelas. A ideia é olhar para frente — antecipar o comportamento pós-ajuste usando apenas os parâmetros pré-treino e o conjunto de dados alvo.

Como funciona

O método modela o SFT (fine-tuning supervisionado) como uma evolução contínua dos parâmetros e usa uma expansão de Taylor para ligar o objetivo pós-treino aos gradientes dinâmicos disponíveis no início do processo. O primeiro sinal vem de um “probing update”: 1% dos dados por uma época, exigindo duas passadas forward e uma backward.

Depois, o pipeline localiza e atualiza apenas os 20% de neurônios mais bem ranqueados, congelando os outros 80%. Na versão por componentes, usa adaptadores LoRA com ranks de 1 a 32 (média 8).

Resultados

No Mistral-7B, a versão por componentes (Ours-C) registrou pontuações de 100,00 em raciocínio lógico e matemático e 87,55 em compreensão de linguagem natural, mantendo o desempenho em tarefas de pervasiveness. A técnica se manteve ótima em testes de escala com LLaMA-2-13B e Qwen3-30B, mas a etapa de localização foi o principal gargalo de escala — seu custo cresceu com mais intensidade que o tempo de fine-tuning.

Limitações

A avaliação se restringe a tarefas controladas de next-token; não há evidência de como o método se comporta em geração longa ou em instruções abertas. A “verdade de referência” dos circuitos é um substituto (o modelo totalmente ajustado), não uma observação independente. E o problema de polissemia de neurônios — um mesmo neurônio participando de vários mecanismos — segue sem solução. O documento se identifica como pré-print em revisão.