vLLM cria camadas agnósticas de hardware para manter portabilidade sem perder desempenho

O vLLM — o motor de inferência de código aberto que se tornou a camada de abstração padrão para servir LLMs — anunciou um novo conjunto de camadas “agnósticas de hardware” (HW-agnostic). O objetivo é simples de explicar, mas complexo de executar: manter o projeto rodando “na velocidade da luz” nos GPUs de fronteira e, ao mesmo tempo, continuar suportando os usuários que dependem de GPUs antigos, aceleradores fora da árvore (out-of-tree) e modelos exóticos.

O dilema da fronteira

O vLLM cresceu posicionando-se como a abstração que suporta uma variedade enorme de modelos sobre uma variedade igualmente grande de hardware — NVIDIA, AMD, Intel XPU, Google TPU, IBM Spyre, Huawei Ascend. Mas as arquiteturas dos modelos abertos de fronteira estão divergindo rapidamente. Modelos como DeepSeek V4 e Kimi K3 alcançam contexto de um milhão de tokens por abordagens completamente diferentes, cada um com camadas e kernels sob medida.

Para atingir desempenho de ponta nos GPUs mais novos (como os Blackwell da NVIDIA e sistemas em rack como o GB300 NVL72), a comunidade passou a manter definições de modelo específicas por hardware — os chamados “flat models” — que abandonam o torch.compile em favor de fusões e otimizações sob medida. O problema: essas mudanças quebram a compatibilidade com o torch.compile em grafo completo e removem o suporte à extensibilidade via CustomOp, ferramentas das quais os plugins out-of-tree dependem.

Quem sai perdendo

Essa direção levanta três preocupações concretas. Primeiro, plugins out-of-tree (como o IBM Spyre, que usa TorchDynamo e TorchInductor para baixar o grafo ao hardware-alvo) passariam a ter de manter seu próprio conjunto de definições de modelo — um fardo de manutenção enorme. Segundo, o backend do transformers, cada vez mais usado para modelos antigos e exóticos, perderia desempenho em GPU sem camadas compiláveis. Terceiro, os “flat models” são otimizados para GPUs de fronteira, deixando de fora GPUs antigos e de consumo/prosumer — uma parcela significativa da base, segundo as estatísticas de uso do próprio vLLM.

A solução: quatro princípios

As novas camadas HW-agnostic seguem quatro princípios de design:

• Compilável — as definições continuam compiláveis em grafo completo via torch.compile;
• Extensível — mantém mecanismos como CustomOp e PluggableLayer para os plugins out-of-tree;
• Isolada — camadas e operações separadas dos caminhos específicos de hardware, para que os dois lados evoluam sem se atrapalhar;
• Portátil — implementadas em PyTorch nativo ou DSLs portáteis como Triton e Helion.

Na prática, isso significa um caminho novo que já está no branch principal do vLLM e pode ser ativado com uma única variável de ambiente:

USE_HW_AGNOSTIC=1 vllm serve google/gemma-4-31B --model-impl=transformers

O desempenho não desaba

Os experimentos em GPUs NVIDIA H100 mostram que as camadas agnósticas — construídas exclusivamente com implementações portáteis — ficam a 3,4% do desempenho nativo (média geométrica em três modelos recentes), em alguns casos até levemente superiores aos modelos nativos que usam FlashAttention e CUTLASS. A validação já foi feita com o plugin Spyre para modelos como Gemma 4, Qwen3 e Granite 4.2, e um PR para DeepSeek V4 agnóstico está em revisão.

Para quem roda LLMs localmente — cenário comum entre desenvolvedores e empresas brasileiras que não têm acesso a clusters de GPUs de última geração — a novidade é importante: sinaliza que o vLLM não vai abandonar a portabilidade em nome do desempenho de ponta.