Se você já tentou fazer weight averaging (média de pesos de redes neurais) treinando a mesma arquitetura duas vezes com a mesma base de dados, mudando só a semente aleatória, provavelmente esperou que os dois resultados fossem equivalentes. Eles convergem, atingem a mesma perda — mas a média dos dois vetores de pesos costuma ser pior, às vezes muito pior. Um novo artigo do Towards Data Science explica por quê: a culpa é da simetria de permutação.
A metáfora das colunas trocadas
Imagine duas redes treinadas como duas planilhas que descrevem o mesmo relatório, mas com as colunas em ordem diferente. A “coluna 3” do modelo A pode guardar o que o modelo B chama de “coluna 7”. As duas estão corretas e somam os mesmos totais — mas fazer a média célula a célula sem alinhar as colunas é somar receita com número de funcionários. É isso que a média ingênua de pesos faz com uma rede neural.
De onde vem a não-convexidade
Modelos clássicos como regressão polinomial têm uma base de funções fixa; a perda é convexa e há um único mínimo. A rede neural muda uma coisa: torna a própria base aprendível. Esse é o custo da adaptabilidade — troca-se a convexidade pela capacidade de aprender a base. Como as colunas são aprendidas, não há ordem combinada para elas, e isso gera a simetria de permutação: para uma camada com m unidades, existem m! ordenações equivalentes. Uma camada de 512 unidades gera cerca de 10^1166 cópias de cada solução.
Consequências práticas para quem funde modelos
O artigo extrai cinco regras que caem diretamente dessa geometria. Primeiro, model soups precisam de um ancestral comum — checkpoints ajustados a partir do mesmo modelo pré-treinado permanecem na mesma bacia, então a média funciona; com taxas de aprendizado muito diferentes, pode falhar. Segundo, fundir modelos não relacionados exige alinhamento antes, como fazem ferramentas como Git Re-Basin e REPAIR. Terceiro, distância no espaço de pesos não é métrica de similaridade — use CKA ou concordância de saída. Quarto, faça ensemble no espaço de função, não de parâmetros. E quinto, a posteriori bayesiana sobre os pesos é inerentemente multimodal.
Permutação não é a única simetria
Redes ReLU também têm simetria de reescala positiva (multiplicar pesos de entrada por uma constante e dividir os de saída pelo inverso não muda a função), e pesquisas recentes apontam que, em transformers, a rotação — não só a permutação — importa ao fundir modelos, por causa das invariâncias rotacionais dos cabeçotes de atenção.
A conclusão central é elegante: a não-convexidade do treinamento não é mistério nem terreno acidentado — uma parcela grande e caracterizável dela é simetria, consequência direta de deixar a rede aprender a própria base. Para quem trabalha com fusão de modelos, é a diferença entre folclore e princípio.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
