Mesclagem esparsa de modelos mostra ganhos modestos em benchmarks

Um novo pré-print de aprendizado de máquina reporta pontuações médias mais altas para um método de mesclagem esparsa de modelos em dois experimentos com Qwen2.5. Na configuração com 7B, o sistema proposto marcou 68,49 em média, contra 67,71 do Task Arithmetic. Em um teste de alto conflito com quatro tarefas usando o modelo de 1,5B, marcou 36,48, diante de 33,70 do DELLA e 29,53 do TIES-Merge. São médias reportadas, e as comparações principais não incluem intervalos de confiança, valores-p ou testes formais de significância.

Uma mesclagem seletiva

O pipeline extrai vetores de tarefa de modelos especialistas e usa um mecanismo chamado GR-ZOO para identificar as camadas críticas de cada tarefa. Ele mescla as camadas não críticas de forma aritmética e, em seguida, aplica projeção e fusão de features esparsas baseadas em SAE (sparse autoencoders) nas camadas selecionadas.

Em termos simples, a representação esparsa mantém muitas posições de feature inativas, permitindo que os sinais de tarefa sejam tratados em um espaço de features maior. A proposta mais ampla é mover os vetores de tarefa para esse espaço esparso de alta dimensão antes da fusão, reduzindo a sobreposição que pode fazer uma capacidade interferir na outra.

Um limite teórico importante

A seção teórica do artigo estabelece uma fronteira sobre o que essa mudança de representação pode garantir: a decomposição ortogonal não consegue remover um conflito causado por superposição preservando as duas direções de capacidade em interação, a menos que ao menos uma delas seja substancialmente distorcida ou descartada. O resultado repousa em suposições sobre linearização, alcançabilidade, esparsidade e coerência do dicionário, então não resolve por si só como o método se comportará em outras arquiteturas ou misturas de tarefas.

Os benchmarks usaram Qwen2.5-7B com três especialistas (matemática, código e seguir instruções) e Qwen2.5-1.5B com quatro (matemática, código, conhecimento geral e alinhamento de segurança). Para a comunidade de modelos abertos, a mesclagem de modelos é uma forma barata de combinar capacidades especializadas — e entender seus limites teóricos ajuda a evitar expectativas irreais.