RBS-Attention acelera em até 20x o prefill de LLMs de contexto longo

O pré-processamento de prompts longos — o “prefill” — se tornou o principal gargalo da inferência de modelos de contexto estendido, e um novo método sem treinamento promete acelerá-lo em até 20 vezes sem sacrificar qualidade. O RBS-Attention ataca diretamente o custo da atenção densa que processa o prompt inteiro antes de o modelo começar a gerar texto.

O problema da “diluição da média”

A seleção esparsa por blocos reduz o custo do prefill, mas esconde uma armadilha: o centroide de um bloco pode mascarar um token altamente relevante entre muitos irrelevantes. Os autores chamam esse modo de falha de diluição da média — quando a média esconde o que importa.

Dois ramos complementares

O RBS-Attention usa dois ramos de seleção que se complementam. Um ramo base captura a relevância média, enquanto um ramo de resgate usa o raio máximo do bloco de chaves e sua distribuição dependente de prompt, camada e cabeçote para identificar blocos em risco de subestimação.

Os dois ramos são limiarizados de forma independente e suas máscaras combinadas, controlando a contribuição dos blocos de resgate enquanto preservam a execução esparsa regular do FlashAttention. Nenhum treinamento é necessário — o método se aplica diretamente a modelos existentes.

Os números em GPUs H100

Os ganhos são expressivos em GPUs H100, testados em contexto de 128 mil tokens com o Qwen3-30B-A3B-Instruct:

• 20,65x de aceleração no prefill-attention isolado;
• 11,92x de aceleração no prefill-attention dentro do vLLM;
• 5,97x de aceleração no tempo até o primeiro token de ponta a ponta.

No quesito qualidade, o modelo denso Qwen3-32B atingiu 88,65 de precisão RULER com RBS-Attention, contra 89,52 da atenção densa completa — uma perda mínima para um ganho massivo de velocidade. Avaliações adicionais em LongBench-v2, InfiniteBench e Video-MME reforçam a robustez do resultado.

Por que isso importa agora

Contextos longos — resumir documentos, analisar bases de código, processar vídeos — estão no centro do uso empresarial de LLMs, mas o custo de inferência cresce rapidamente com o tamanho do prompt. Reduzir o tempo até o primeiro token em quase 6 vezes muda a viabilidade econômica de aplicações que dependem de latência baixa.

A limitação natural é que o método é otimizado para GPUs H100 e modelos da família Qwen3 nos testes; a generalização para outras arquiteturas e hardwares, embora plausível, ainda precisa de validação independente.