Escolher a instância de GPU certa para servir modelos de linguagem é uma das decisões que mais impactam custo e desempenho de qualquer produto de IA generativa em produção. Um salto de geração pode reduzir latência, aumentar vazão e baixar o custo por token — mas o tamanho real desses ganhos depende da arquitetura do modelo, do formato de quantização e do formato da carga de trabalho. Um novo benchmark da AWS quantifica exatamente esses ganhos.
O que foi testado
A equipe do AWS Machine Learning Blog comparou dois modelos Mixture-of-Experts (MoE) de 30 bilhões de parâmetros em três famílias de instâncias GPU do Amazon SageMaker AI: as gerações G5 (NVIDIA A10G), G6 (NVIDIA L4) e a nova G7, equipada com GPUs NVIDIA Blackwell (RTX PRO 4500).
O primeiro caso de uso mediu o modelo Qwen3-Coder-30B, voltado a tarefas de código, usando o contêiner DJL Large Model Inference (LMI) com uma carga sintética de 100 requisições, concorrência 4 e 128 tokens de entrada e saída em média. O segundo caso usou o NVIDIA Nemotron-3-Nano-30B e a ferramenta de recomendação automática de inferência do SageMaker, otimizando para vazão.
Os números do benchmark de código
No teste com o Qwen3-Coder, a instância ml.g7.12xlarge entregou 391,3 tokens por segundo — cerca de 60,8% a mais que a G6 (243,4 tok/s) e 13% a mais que a G5 (346,3 tok/s). Na latência média, a G7 ficou em 1.315,8 ms, contra 2.109,7 ms da G6 (redução de 37,6%) e 1.475,2 ms da G5 (redução de 10,8%).
O dado mais impressionante está na latência de cauda (P99): 1.501,1 ms na G7, contra 3.315,7 ms na G6 — uma redução de 54,7%. Para aplicações interativas, onde a pior experiência conta, essa diferença é decisiva.
O ponto mais revelador: a G7 alcançou esses resultados com apenas duas GPUs e 64 GB de memória agregada, contra quatro GPUs e 96 GB nas configurações G5 e G6. O motivo é o suporte nativo a FP4 no hardware — apenas a G7 tem Tensor Cores com aceleração nativa para o formato NVFP4, o que dá uma vantagem estrutural para modelos MoE.
Custo por token
No segundo caso, com o Nemotron-3-Nano-30B, a recomendação automática identificou que ml.g7.48xlarge entrega a maior vazão (2.397 tokens/s em carga de chat), enquanto ml.g7.2xlarge oferece o menor custo por token: US$ 0,90 por 1 milhão de tokens em carga de chat e US$ 2,29 por 1 milhão em carga de RAG com contexto longo.
Comparando com as gerações anteriores, a G7 entrega custo por token cerca de 4,9 vezes menor que a G6 em carga de chat e 5,6 vezes menor em carga de RAG. Frente à G6e, a vantagem é de aproximadamente 1,4 vez.
O que isso significa para quem opera LLMs
A lição central do benchmark é que não existe instância “melhor” em abstrato — a escolha depende do objetivo de produção. A maior vazão e a menor latência vêm da configuração de maior porte, mas o menor custo por token pode vir de uma instância menor e mais barata. A AWS disponibilizou os notebooks usados nos testes em um repositório público no GitHub para quem quiser reproduzir os números com a própria carga de trabalho.
Vale notar que a G7 está disponível por enquanto apenas nas regiões US East (Ohio) e US West (Oregon) — um fator relevante para equipes brasileiras que precisam manter dados e latência próximos da América do Sul.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
