Nem todas as cabeças de atenção importam: estudo acelera modelos de visão-linguagem

A pergunta central

Quando um modelo de visão-linguagem processa uma imagem, ele usa cabeças de atenção para decidir quais tokens visuais importam. Um novo estudo questiona se agregar a atenção de todas as cabeças ignora o fato de que a contribuição delas é heterogênea — e se a localização dos tokens visuais críticos está concentrada em um pequeno subconjunto de cabeças.

ProViP: poda progressiva sem treino

A resposta proposta é o ProViP, um framework de poda progressiva sem necessidade de treino. Ele remove tokens visuais redundantes antes do raciocínio do modelo de linguagem e aplica poda consciente das cabeças durante o raciocínio. Para definir quais cabeças são “visuais”, o método extrai tokens-âncora semânticos, pontua cada cabeça pela variância da atenção cross-modal e as ranqueia por confiança.

No diagnóstico por camadas, os pesquisadores selecionaram as seis principais de 32 cabeças como visuais e reduziram 576 tokens visuais para apenas 16. O resultado mais claro apareceu na camada 7, onde “somente cabeças visuais” superou “todas as cabeças” em 13,7 pontos no POPE F1 — vantagem que diminuiu nas camadas mais profundas.

Velocidade sem perder qualidade

No LLaVA-1.5-7B, o ProViP manteve 95,9% do desempenho original com aceleração de inferência de 1,62 vezes sob taxa de poda de 88,9%. A latência caiu para 126 ms na configuração com 64 tokens visuais (38,2% abaixo da linha de base), e o tempo de preenchimento foi 62,2% menor. Nos testes com LLaVA-NEXT-7B em alta resolução, o framework reteve 320 tokens e alcançou 95,9% de desempenho médio. No Qwen2.5-VL-7B, ficou 3,2% acima do PDrop com 10% de poda.

Limitações honestas

Os autores reconhecem que o ProViP exige acesso aos resultados intermediários do modelo de linguagem e ao cálculo explícito das pontuações de atenção. Isso restringe o uso direto a arquiteturas de código aberto — modelos fechados (via API) ficam de fora — e o cálculo adicional pode compensar parte da aceleração reportada. O estudo é um preprint (arXiv:2608.25332v1, 26 de agosto de 2026) e os resultados valem para os modelos, benchmarks e configurações testados.