TensorRT distribui inferência entre GPUs e gera vídeo 4,5x mais rápido no Cosmos 3

A demanda de IA generativa estourou o limite de uma GPU

A inferência de modelos generativos está cada vez mais distante do que uma única GPU consegue entregar. A NVIDIA apresentou a inferência multi-dispositivo do TensorRT, uma capacidade que permite que uma única rede TensorRT execute em várias GPUs usando coletivos distribuídos baseados em NCCL, mantendo as otimizações de inferência do TensorRT. O suporte completo chega a partir do TensorRT 11.0.

O Dynamo-Triton (antigo Triton Inference Server), na versão 26.07, habilita essa capacidade no backend TensorRT. Uma única instância KIND_MODEL pode possuir várias GPUs, criar contextos de execução por rank, streams CUDA e comunicadores NCCL, e lançar os ranks juntos a cada requisição. A aplicação chama um único modelo nomeado por um endpoint gRPC, em vez de coordenar os ranks de GPU manualmente.

O caso prático: Cosmos 3 Nano gera vídeo 4,5x mais rápido

O artigo demonstra a integração com o NVIDIA Cosmos 3 Nano, um workload de sequência longa para geração de vídeo. O Diffusers continua orquestrando prompts, latentes, classifier-free guidance (CFG), agendamento, decodificação VAE e pós-processamento. O Dynamo-Triton serve o transformer de denoising de 36 camadas, e o TensorRT multi-dispositivo usa paralelismo de contexto Ulysses para distribuir os 44.160 tokens de vídeo entre até oito GPUs.

O transformer responde por 93,4% do tempo de geração em GPU única — o estágio mais impactante a acelerar. Cada um dos 35 passos de denoising exige uma predição incondicional e outra condicionada ao prompt, resultando em 70 chamadas RPC ao Triton por geração.

Os números da aceleração

O speedup do RPC do transformer chega a 6,09x com oito GPUs. O artigo também valida a saída: as variantes CP2, CP4 e CP8 passaram nos limiares de erro absoluto médio (MAE ≤ 25) e PSNR (≥ 18 dB), mantendo a mesma ação coerente do clipe — um braço robótico limpando um prato.

O trade-off que o time precisa decidir

Para quem opera infraestrutura, o ponto é direto: uma geração completa que antes levava mais de dois minutos e meio passa a terminar em cerca de 34 segundos, mantendo a interface convencional de model serving. Mas o benchmark não mede throughput concorrente, custo por vídeo gerado nem custo total de propriedade (TCO) — times devem avaliar essas métricas contra os próprios SLOs. É a troca clássica de recursos por latência, agora empacotada como um endpoint único de modelo.