VC-Attention acelera atenção em modelos de vídeo de IA em até 3,58× sem retreinamento

Kernel de atenção de baixa precisão, sem retreinamento

A Nunchux AI apresentou o VC-Attention, um kernel de atenção de baixa precisão para Diffusion Transformers de vídeo (DiTs) que não exige retreinamento. A técnica ataca dois problemas de uma vez: o erro de quantização dos valores e o estágio lento do softmax. O resultado, segundo os benchmarks, é uma aceleração de atenção de até 3,58× em uma RTX 5090 e de 1,70× de ponta a ponta.

É um avanço de infraestrutura de inferência — o tipo de otimização que torna a geração de vídeo por IA mais rápida e barata, um gargalo real para quem trabalha com conteúdo audiovisual.

Por que a atenção é o gargalo

DiTs de vídeo achatam um clipe em uma única sequência de tokens espaço-temporais e executam self-attention completo em todas as camadas. Um clipe de 5 segundos em 720p do Wan2.2-14B gera cerca de 70 mil tokens. Numa RTX 5090, a atenção consome mais de 64% do tempo de geração; a equipe afirma que ela representa cerca de dois terços de cada passo de denoising do MiniMax-H3 em uma única B200.

Os Tensor Cores de baixa precisão aceleram os dois produtos de matriz (QK e PV), mas restam dois obstáculos. Primeiro, métodos anteriores como o SageAttention2 suavizam consultas e chaves — e, após essa suavização, o termo de valor responde por 82% do erro de saída no Wan2.2. Segundo, o softmax entre os produtos ainda roda em FP32, virando o estágio mais longo do pipeline em B200 e H200.

V-Smooth: corrigindo outliers de valor

Outliers de valor ficam em poucos tokens e mudam de canal entre heads, camadas e passos. Uma rotação de Hadamard preserva as normas dos tokens, então não os remove. O V-Smooth adota outro caminho, em três etapas:

• Group: um k-means online agrupa os tokens de valor por lote e head; chaves e valores são permutados juntos, então a saída da atenção não-causal permanece inalterada.
• Demean: cada bloco de hardware de 128 tokens subtrai sua média; apenas o resíduo é quantizado (E4M3 por canal em 8 bits, ou NVFP4 em 4 bits).
• Restore: a média é somada de volta usando a soma de linha que o softmax online já mantém — sem segunda passada nem buffer extra.

Em média sobre 100 heads do Wan2.2, a subtração da média remove 8% da energia do bloco em ordem de sequência, chegando a 36% após ordenação. O agrupamento roda apenas nos primeiros 25% dos passos de denoising.

ExpCast-FP8: eliminando o gargalo do softmax

Um byte E4M3 já é quase um logaritmo do valor que armazena. Lido como inteiro, equivale aproximadamente a 8·log2(v) + 56. O ExpCast-FP8 escreve o byte diretamente do escore no domínio logarítmico com uma única multiplicação-soma fundida, dispensando o exponencial FP32 e o cast posterior. Ele se aplica apenas ao kernel de 8 bits, já que o NVFP4 não tem um mapa afim único de log para código.

Benchmarks

Os testes cobrem quatro DiTs de vídeo abertos — Wan2.2-T2V-A14B, LongCat-Video, HunyuanVideo-1.5 e MiniMax-H3 — com fidelidade medida contra saídas BF16 do FlashAttention-4:

Em fidelidade, o V-Smooth de 8 bits adiciona 2,3 dB de PSNR sobre o SageAttention2 no Wan2.2; em 4 bits, supera o SageAttention3 em 2,9 dB no Wan2.2 e 3,6 dB no LongCat-Video.

Limitações

Apesar dos ganhos, ainda não há kernel público: a Nunchux mantém uma extensão proprietária (“Nunchux Attention”) em sua stack, e o acesso gratuito ao MiniMax-H3 virá por lista de espera. Para a comunidade, o valor imediato está na abordagem — especialmente o V-Smooth e o ExpCast-FP8 — como referência para otimizar atenção de vídeo sem custo de retreinamento.