SharedSAE: um único dicionário de features para interpretar múltiplos modelos de linguagem

Fim da repetição por modelo

Autoencoders esparsos (SAEs) são amplamente usados para interpretar as ativações de modelos de linguagem, mas o treinamento e a rotulagem de latentes costumam ser repetidos para cada modelo. O SharedSAE propõe um caminho diferente: um único SAE compartilhado que substitui uma coleção de SAEs dedicados por modelo.

O método combina um dicionário compartilhado com pares encoder-decoder específicos de cada modelo. Diferente da abordagem anterior mais próxima — que descarta as magnitudes de ativação e exige todos os modelos na inferência — o SharedSAE normaliza apenas os escores de seleção, preserva as magnitudes e usa dropout de modelo para permitir inferência com um único modelo.

Resultados que atravessam famílias de modelos

O SharedSAE foi treinado em quatro modelos base de escala 1B abrangendo famílias e tokenizadores distintos. Apesar de compartilhar latentes entre modelos, ele retém 96,6% da variância média explicada dos SAEs dedicados. As ativações latentes exibem correlações entre modelos 1,8 vezes maiores do que SAEs separados alinhados post-hoc, e as descrições dos latentes são transferíveis entre modelos.

Depois que o dicionário é congelado, novos modelos podem ser adaptados de forma eficiente a ele, alcançando qualidade de reconstrução próxima à de um SAE dedicado enquanto reutilizam as descrições latentes compartilhadas. Para o campo da interpretabilidade, isso reduz drasticamente o custo de estender ferramentas de interpretação a novos modelos — um ganho relevante para pesquisadores que hoje precisam repetir todo o pipeline para cada lançamento.