Método comprime CNNs de kernel grande em 77% com perda mínima de precisão

Redes convolucionais com kernels grandes — como RepLKNet, ConvNeXt e SLaK — têm se mostrado muito eficazes em tarefas de visão, mas carregam um custo alto de parâmetros. O gargalo não está nos kernels em si: as chamadas convoluções pontuais (pointwise) respondem por mais de 87% de todos os parâmetros dessas arquiteturas.

A técnica CGS

O método Group-Shared Low-Rank Approximation (CGS) mira exatamente esse gargalo. Ele usa uma estrutura de baixa ordem isomórfica a SVD: as matrizes caras de projeção (down e up) são compartilhadas entre grupos de canais, enquanto uma matriz diagonal escalável fica separada para cada grupo. Na prática, o que é caro vira compartilhado; o que precisa variar, varia.

Resultados reportados

Na variante CGS-B, a redução de parâmetros passou de 77% nas três arquiteturas avaliadas, com queda de acurácia abaixo de 6,5% em cada uma. Comparado ao RepLKNet-31B, foram 81% menos parâmetros com 4,2% de perda. No ImageNet-1K, o método até ganhou 6,5% de Top-1 sobre o PVT-Tiny.

O valor prático

A proposta é clara para quem precisa rodar visão computacional em dispositivos de borda e celulares, onde cada megabyte e cada milissegundo contam. É um preprint sem revisão por pares, e as comparações não trazem intervalos de confiança — mas a direção (atacar o gargalo dominante, não a rede inteira) é um atalho eficiente e reutilizável.