Backend transformers do vLLM agora roda em velocidade nativa — e de graça

O time do Hugging Face anunciou um marco importante para o ecossistema de inferência de LLMs: o backend transformers do vLLM agora atinge velocidade nativa — igual ou superior às implementações manuais escritas especificamente para cada arquitetura. Na prática, isso significa que qualquer modelo disponível no Hugging Face Hub pode ser servido com desempenho de ponta usando um único flag, sem precisar portar código.

# Atualize o pacote vllm e pronto
uv pip install --upgrade vllm --torch-backend auto

A biblioteca transformers como referência

A biblioteca transformers se tornou a biblioteca de modelagem de referência para Machine Learning. Com suporte a mais de 450 arquiteturas através de APIs consistentes, ela foi projetada com o objetivo principal de que as implementações de modelos sejam autocontidas e fáceis de entender. O código do transformers é o ponto de partida para desenvolvedores aprenderem como uma arquitetura funciona antes de portá-la para frameworks como vLLM, SGLang, MLX, llama.cpp e outros.

No ano passado, a integração do transformers como backend de modelagem no vLLM permitiu que autores de modelos rodassem seus modelos — tanto LLMs quanto VLMs — dentro do vLLM sem precisar portar nada. O transformers fornece o código de modelagem, e o vLLM fornece técnicas de inferência extremamente otimizadas, como continuous batching e kernels de atenção customizados.

Resultados dos benchmarks

O time testou o backend transformers do vLLM contra as implementações nativas escritas à mão em três modelos Qwen3 muito diferentes:

• Modelo denso de 4B em uma única GPU
• Modelo denso de 32B com paralelismo de tensor
• Modelo Mixture-of-Experts de 235B em FP8 com paralelismo de dados + expert em 8 GPUs H100

O resultado: o backend transformers agora iguala ou supera a vazão nativa em todos eles. A diferença de desempenho que existia antes simplesmente desapareceu com as otimizações recentes.

Como usar

Rodar qualquer modelo do Hugging Face através do backend transformers é um único flag — --model-impl transformers. Ele se compõe com as opções usuais de paralelismo, então nada muda na sua configuração de serving:

# Qwen3-4B denso, GPU única
vllm serve Qwen/Qwen3-4B --model-impl transformers

# Qwen3-32B denso, tensor-parallel em 2 GPUs
vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2

# Qwen3-235B-A22B-FP8 MoE, data-parallel + expert-parallel em 8 GPUs
vllm serve Qwen/Qwen3-235B-A22B-FP8 --model-impl transformers \
  --data-parallel-size 8 --enable-expert-parallel

*Modelos que usam atenção linear ainda não são suportados, mas serão em breve. Modelos customizados com código em repositórios do Hub provavelmente não funcionarão se não forem escritos de forma compatível.

O que mudou tecnicamente

O backend transformers do vLLM antes focava em otimizar a atenção, mas o restante das operações de rede neural — projeções lineares, normalizações, ativações — rodava em código Python puro, que é ordens de magnitude mais lento que kernels CUDA otimizados.

O novo PR integra essas operações diretamente com os kernels otimizados do vLLM. Na prática, as camadas lineares e normalizações do transformers agora são compiladas e executadas nos mesmos kernels CUDA que as implementações nativas usam, eliminando completamente a penalidade de desempenho.

Por que isso importa para o ecossistema

Esta mudança reduz drasticamente a barreira para novos modelos entrarem no ecossistema de inferência otimizada. Antes, cada nova arquitetura precisava de uma implementação manual em vLLM — um trabalho especializado que levava semanas ou meses. Agora, qualquer modelo com implementação transformers ganha velocidade de produção automaticamente.

Para times que mantêm modelos customizados ou fazem fine-tuning de arquiteturas existentes, isso significa que podem ir do treinamento à produção em minutos, não semanas — sem sacrificar desempenho.