Como medir o desempenho de inferência de transformers: latência, throughput e memória

Medir antes de otimizar

Quando você otimiza a inferência de um LLM, a primeira pergunta não é “qual técnica usar?” — é “como vou medir se funcionou?”. Um tutorial detalhado do Machine Learning Mastery, publicado nesta segunda (4), mostra exatamente como fazer isso, cobrindo latência, throughput, consumo de memória e eficiência de batch.

As 4 métricas que realmente importam

O artigo organiza a medição de desempenho de inferência em quatro pilares fundamentais:

• Latência: tempo entre o envio do prompt e o primeiro token (time-to-first-token, TTFT) e o tempo total até o último token. Essencial para chatbots e aplicações interativas
• Throughput: tokens gerados por segundo. Crítico para processamento em lote e pipelines de extração de dados
• Uso de memória: quanto de VRAM ou RAM o modelo ocupa durante a inferência, determinante para escolha de hardware
• Eficiência de batch: como o throughput escala quando você processa múltiplas requisições simultâneas — a chave para reduzir custo por token

Ferramentas e armadilhas

O tutorial aborda ferramentas práticas como torch.cuda.Event para medição precisa em GPU, time.perf_counter() para CPU, e bibliotecas como vLLM que já expõem métricas de throughput. Também alerta para armadilhas comuns: medir apenas a primeira execução (que inclui warm-up de CUDA), ignorar o overhead de tokenização e não controlar o comprimento de saída nas comparações.

Para quem trabalha com LLMs em produção no Brasil — seja via API ou inferência local — entender essas métricas é o primeiro passo antes de qualquer estratégia de otimização como quantização, pruning ou speculative decoding.