7 técnicas para reduzir a latência de inferência dos seus LLMs em produção

O gargalo silencioso da IA generativa

À medida que modelos de linguagem (LLMs) saem dos laboratórios de pesquisa e entram em produção, as equipes de engenharia descobrem uma verdade incômoda: construir um modelo inteligente é só metade da batalha. Servir esse modelo para usuários em tempo real é um desafio de engenharia completamente diferente.

A latência de inferência — o tempo entre o envio do prompt e o recebimento da resposta — pode se estender por segundos se não for otimizada, resultando em experiências ruins e custos computacionais elevados. Diferente de aplicações web tradicionais onde a latência é medida em milissegundos, LLMs operam em outra escala.

As duas fases da geração

Para entender onde atacar o problema, é preciso conhecer a anatomia de uma resposta lenta:

1. Fase de Prefill (leitura): o modelo processa o prompt inteiro de uma vez. É intensiva em computação. Quanto maior o prompt, mais tempo leva.
2. Fase de Decode (escrita): o modelo gera a resposta sequencialmente, um token por vez. Como cada token depende de todos os anteriores, esta fase não pode ser paralelizada e é limitada pela largura de banda da memória.

Essas fases produzem duas métricas que definem a experiência do usuário: Time to First Token (TTFT) — quanto tempo até a primeira palavra aparecer — e Time Per Output Token (TPOT) — a velocidade de geração contínua.

1. Quantização de modelos

Por padrão, os pesos de um LLM são armazenados em ponto flutuante de 16 bits (FP16). Um modelo de 70 bilhões de parâmetros em FP16 exige cerca de 140 GB de VRAM só para carregar. A quantização comprime os pesos para 8 bits (INT8) ou 4 bits (INT4), reduzindo drasticamente o consumo de memória. Um modelo quantizado em 4 bits se move pela memória quatro vezes mais rápido que o equivalente FP16. Técnicas modernas como AWQ e GPTQ minimizam a perda de qualidade.

2. Cache de chave-valor (KV caching)

Quando o modelo gera o token #100, ele precisa entender como esse token se relaciona com os tokens #1 a #99. KV caching armazena essas relações matemáticas já calculadas na VRAM, evitando recomputação redundante a cada passo. O trade-off é custo de memória: conforme o texto cresce, o cache também cresce.

3. Decodificação especulativa

O gargalo mais teimoso é a natureza sequencial da geração autoregressiva. A decodificação especulativa contorna isso usando dois modelos em tandem: um modelo “rascunho” pequeno e rápido gera múltiplos tokens de uma vez, e um modelo “alvo” grande e preciso verifica todos em paralelo. Quando o rascunho acerta, você ganha de 2× a 3× de aceleração sem perda de qualidade.

4. Batching contínuo

Servidores tradicionais processam requisições em lotes estáticos. O problema: saídas de LLM têm comprimentos muito variáveis. Se três usuários terminam em 100 tokens mas um precisa de 1.000, os três primeiros esperam ociosamente. O batching contínuo (ou iteration-level scheduling) injeta novas requisições e remove as concluídas no nível do token — assim que uma curta termina, o servidor já libera espaço para o próximo usuário.

5. Poda e destilação de modelos

Se a quantização encolhe o tamanho dos pesos existentes, a poda (pruning) remove pesos inteiros. Redes neurais são inerentemente superparametrizadas — nem todo neurônio contribui igualmente. Já a destilação de conhecimento treina um modelo “estudante” menor para replicar o comportamento de um “professor” maior. Usar um modelo de 70B para análise de sentimento é desperdício; destilar essa capacidade para um modelo de 8B pode reduzir a latência para dezenas de milissegundos.

6. Frameworks de inferência otimizados

Servir LLMs com a função .generate() padrão de bibliotecas de pesquisa é ineficiente. Frameworks dedicados como vLLM, Text Generation Inference (TGI) do Hugging Face e TensorRT-LLM da NVIDIA implementam automaticamente PagedAttention (gerenciamento inteligente de memória para KV cache), batching contínuo e kernels CUDA otimizados. Adotar um desses frameworks frequentemente reduz tanto TTFT quanto TPOT com mudanças mínimas no código.

7. Otimização de contexto e prompts

A forma mais acessível de reduzir TTFT é enviar menos dados ao modelo. Em pipelines RAG, é comum injetar milhares de palavras de contexto “por precaução”. Duas estratégias ajudam: compressão de prompt (use modelos NLP mais leves para resumir ou extrair apenas sentenças relevantes) e cache de prompt (se sua aplicação usa um prompt de sistema fixo de 2.000 palavras, engines modernas permitem cache do estado de prefill desse prompt — novos usuários só processam sua consulta específica).

Empilhando otimizações

Reduzir latência de inferência raramente é sobre uma única correção. É um processo de empilhar melhorias incrementais. Um fluxo usando modelo quantizado INT8, servido via vLLM com batching contínuo e acelerado por decodificação especulativa se comporta como uma aplicação completamente diferente da linha de base não otimizada.

Cada uma dessas sete abordagens ataca uma camada diferente da pilha de inferência — do peso individual à engenharia de prompt. Trabalhar sistematicamente por elas é o caminho mais confiável para entregar aplicações de IA generativa rápidas e com custo eficiente.