NVIDIA mostra como inferência confidencial retém 96% do desempenho em GPUs Blackwell

A inferência de grandes modelos de linguagem processa cada vez mais informações sensíveis — prompts confidenciais, contexto proprietário e pesos de modelo que valem bilhões. A resposta da NVIDIA para rodar essas cargas com segurança é a Confidential Computing (CC): máquinas virtuais confidenciais com memória criptografada, GPUs confidenciais e NVLink criptografado. O desafio que a empresa acaba de detalhar em um post técnico: fazer isso sem sacrificar o desempenho.

Por que isso importa agora

Frameworks como o TensorRT-LLM entregam inferência de ponta combinando otimizações de framework com computação acelerada. Mas, em um ambiente com computação confidencial ativada, a execução segura muda as premissas por trás de movimentação de memória, temporização, agendamento e comunicação multi-GPU. Sem adaptação, esse overhead pode tornar a inferência privada inviável em produção. A NVIDIA agora quantifica exatamente quanto custa — e mostra que dá para manter quase tudo.

Metodologia: isolando o overhead da CC

A equipe de engenharia de performance escolheu uma carga pensada para expor o overhead: contexto de entrada longo, geração estendida e baixa concorrência. O modelo usado foi o DeepSeek-R1-0528-NVFP4 com sequência de 32K tokens de entrada e 1K de saída, paralelismo TP=8 e cache KV em FP8, rodando em um DGX B200 com 8 GPUs B200 sobre Intel TDX.

O segredo da medição é o comparativo controlado CC-on versus CC-off, mantendo modelo, hardware, versão do framework, tamanhos de sequência, paralelismo e concorrência constantes — de modo que o estado da CC seja a única variável em jogo. Em cada nível de concorrência (de 1 a 16 requisições), a equipe mediu o percentual de throughput retido e o overhead de latência por token.

Resultados: 96% do desempenho preservado

Com a CC ativada, o sistema reteve 96,1% a 98,2% do throughput de saída de tokens em relação ao baseline sem CC, enquanto o tempo médio por token (TPOT) ficou entre 1,2% e 4,3% acima do baseline. Na prática, inferência privada de DeepSeek-R1 em oito GPUs B200 quase sem penalidade de velocidade.

As três adaptações que fazem a diferença

Para chegar a esses números, o TensorRT-LLM precisou se adaptar em três frentes onde a execução segura muda as regras do jogo:

• Movimentação host-to-device: no B200 CC, as transferências passam por um buffer de “bounce” criptografado por software, então a memória pinned perde sua vantagem assíncrona. A mitigação foi escolher memória pageable nos caminhos afetados e mover a leitura repetida de dados de amostragem para um worker assíncrono;
• Temporização do autotuner de kernels: os timestamps de eventos CUDA ficaram instáveis sob CC. A solução foi usar o %globaltimer da GPU para medir táticas, mantendo eventos CUDA fora da CC;
• Comunicação multi-GPU: o multicast NVLS (NVLink SHARP) não está disponível em B200 CC, então o framework precisa detectar essa indisponibilidade e escolher algoritmos de comunicação com menor latência para cada tamanho de mensagem e topologia.

Segurança e performance como um único problema

A conclusão da NVIDIA é direta: a computação confidencial não elimina a necessidade de engenharia de performance — ela a torna ainda mais importante. À medida que organizações levam inferência privada para produção, configuração de segurança e otimização de inferência devem ser tratadas como um único esforço de engenharia full-stack. O conselho prático: ative a CC, ateste o ambiente e faça benchmark CC-on versus CC-off com a carga exata que você pretende servir.