NVIDIA lança AIPerf, sucessor do GenAI-Perf para benchmark de LLMs

O problema de medir LLM de verdade

Você implanta um modelo, os prompts começam a receber respostas — e surge a pergunta difícil: isso é rápido? O instinto leva a comandos curl, scripts asyncio improvisados ou “vibe code” de um gerador de carga descartável. Todos esses caminhos esbarram nos mesmos limites: desempenho de processo único, o GIL do Python limitando concorrência e números medidos contra uma referência que você mesmo construiu.

É para resolver isso que a NVIDIA lançou o AIPerf, o sucessor designado do GenAI-Perf e uma reescrita do zero, com decisões de arquitetura tiradas de lições reais de benchmark de LLMs em escala.

O que o AIPerf faz de diferente

• Ruptura de arquitetura: não roda sobre o Perf Analyzer como o GenAI-Perf fazia. É um sistema multiprocessado: processos worker geram carga, serviços separados processam resultados e tudo é coordenado via ZMQ — o cliente deixa de ser o gargalo.
• Amplitude de carga de trabalho: suporta mais de 15 tipos de endpoint (chat, responses, rankings NIM, geração de imagem) e conjuntos de dados públicos como ShareGPT, além de replay de tráfego dos formatos Mooncake, Baseten e WEKA.
• Controle do formato da carga: padrões de chegada constante, Poisson e gamma com “burstiness” ajustável, rampas graduais de concorrência e distribuições sintéticas que reproduzem cargas vLLM/SGLang.

Um benchmark inicial em minutos

O tutorial usa o Qwen3-0.6B servido via vLLM — pequeno o bastante para rodar em uma única GPU. Depois de subir o servidor, a instalação é um comando:

uv tool install aiperf

E o primeiro perfil:

aiperf profile \
 --model Qwen/Qwen3-0.6B \
 --endpoint-type chat \
 --streaming \
 --url localhost:8000 \
 --synthetic-input-tokens-mean 128 \
 --output-tokens-mean 128 \
 --extra-inputs min_tokens:128 \
 --extra-inputs ignore_eos:true

Dois detalhes fazem diferença: fixar a variância em zero mantém exatamente 128 tokens de entrada e saída por requisição, e ignore_eos:true força o modelo a emitir os 128 tokens de saída em vez de parar antes — sem isso, os números de throughput ficam artificialmente baixos e não são reproduzíveis.

As métricas que importam

Ao final, o AIPerf imprime uma tabela e grava CSV/JSON. As quatro métricas centrais são TTFT (tempo até o primeiro token), ITL (latência entre tokens), latência de requisição e throughput de tokens de saída — todas com percentis p25 a p99, além de mínimo, máximo, média e desvio padrão. Com DCGM ou pynvml disponíveis, ele também coleta consumo de GPU, utilização e memória na mesma execução, permitindo correlacionar picos de latência a eventos de pressão de memória sem uma sessão de profiling separada.

Para cargas mais realistas, o AIPerf aceita chegada Poisson com taxa de requisições, variância no comprimento de entrada e saída e semente reproduzível — aproximando o benchmark do tráfego real de produção.