Um artigo técnico publicado no Medium desmonta um dos debates mais persistentes em engenharia de inferência: a falsa escolha entre quantização de pesos e otimização de KV Cache. A autora, Vishnu Priya VR, mostra com aritmética de VRAM que as duas técnicas não competem entre si — elas se complementam, e ignorar uma delas é um erro caro.
O experimento: Llama-3-70B em dual H100
O artigo modela o serving do Llama-3-70B em um nó com duas GPUs NVIDIA H100 (160 GB de VRAM total). Os resultados são contundentes:
- Sem quantização (FP16): mesmo com KV Cache em FP8, o sistema suporta apenas 12 usuários simultâneos antes de degradar para “latency hell”.
- Com quantização INT4 + KV Cache FP8: a mesma infraestrutura escala para 92 usuários simultâneos teóricos, com ~88% de utilização real após considerar overhead do PagedAttention e fragmentação de memória.
O ganho é de quase 8x em capacidade de usuários simultâneos usando exatamente o mesmo hardware.
A armadilha do “ou um ou outro”
O argumento comum contra a quantização é que ela “destrói a performance dos benchmarks”. A autora mostra que essa visão ignora o gargalo real de produção: o memory wall. Em sistemas multi-turn como agentes de voz em tempo real ou RAG conversacional, a VRAM é o teto rígido da margem de negócio — não a acurácia marginal em benchmarks.
| Cenário | Pesos | KV Cache | Usuários Sim. |
|---|---|---|---|
| Sem otimização | FP16 | FP16 | ~8 |
| Só KV Cache | FP16 | FP8 | ~12 |
| Quantização + KV Cache | INT4 | FP8 | ~92 |
A matemática é clara
Em um ambiente de 160 GB de VRAM, os pesos do Llama-3-70B em FP16 ocupam ~140 GB sozinhos — restando apenas 20 GB para KV Cache, batch e overhead. Com INT4, os pesos caem para ~35 GB, liberando 125 GB para KV Cache e permitindo dezenas de sessões simultâneas sem swap para CPU.
O artigo enfatiza que a quantização moderna (GPTQ, AWQ, bitsandbytes) não é a mesma de dois anos atrás. As técnicas evoluíram a ponto de modelos INT4 reterem >99% da acurácia em benchmarks como MMLU e HumanEval, enquanto multiplicam a densidade de usuários por 8x.
O que isso significa para times de produção
Para engenheiros que operam LLMs em produção, a mensagem é pragmática: usem ambas as técnicas. A quantização de pesos libera VRAM para mais sessões; a otimização de KV Cache reduz o consumo por sessão. Juntas, elas multiplicam a eficiência do hardware.
Escolher entre uma e outra não é uma decisão técnica — é deixar dinheiro na mesa.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
