A Amazon Web Services (AWS) passou a oferecer suporte ao NVIDIA Dynamo no Amazon SageMaker HyperPod Inference. A integração mira um problema que aparece quando modelos de linguagem deixam de caber com folga em uma única máquina: não basta somar GPUs; é preciso coordenar memória, rede, agendamento e recuperação de falhas. A proposta combina o framework aberto Dynamo com a operação gerenciada do HyperPod para rodar inferência distribuída, inclusive separando a etapa de leitura do prompt da etapa de geração de tokens.
O anúncio foi publicado pela AWS em 17 de novembro de 2026. O recurso é voltado a equipes que já operam Kubernetes e grandes frotas de GPU na nuvem; ele não transforma modelos gigantes em uma opção barata para projetos pequenos. O ganho está em reduzir parte da complexidade operacional de servir modelos grandes com exigências reais de latência e disponibilidade.
Resumo: o que muda no HyperPod
- O HyperPod Inference passa a suportar o NVIDIA Dynamo, framework de inferência distribuída de código aberto.
- A integração aceita deployments em uma ou várias máquinas, com paralelismo tensorial e de pipeline.
- Há suporte a serving agregado ou desagregado: no segundo caso, pools distintos cuidam do prefill do prompt e do decode dos novos tokens.
- O roteamento pode considerar a reutilização do cache KV e a carga dos workers.
- O HyperPod adiciona agendamento de GPUs, monitoramento de nós e recuperação de falhas à pilha de serving.
Por que inferência de LLMs grandes deixa de ser apenas um problema de GPU
Em um LLM, a primeira fase de uma requisição processa todo o texto de entrada e monta o cache de chave-valor, conhecido como KV cache. A segunda fase gera a resposta token a token. Quando as duas disputam as mesmas GPUs, prompts longos podem prejudicar a velocidade de geração para quem já está recebendo uma resposta. Além disso, pesos, cache KV e overhead de runtime precisam coexistir na memória.
A AWS usa o GLM-5.3 como ilustração: somente os pesos em FP8 excedem os 640 GB de memória de GPU de uma instância ml.p5.48xlarge, antes de considerar cache e runtime. Nessa escala, dividir o modelo entre nós não é uma otimização opcional: é uma condição de execução. O problema passa a incluir comunicação de alta velocidade, colocação conjunta de pods e substituição de nós com falha.
Como a arquitetura junta Dynamo e SageMaker HyperPod
O Dynamo funciona como a camada de serving distribuído. Seu frontend recebe as requisições e as direciona aos workers. No modo desagregado, workers de prefill processam o prompt e workers de decode produzem os tokens; ambos carregam os pesos do modelo, e o cache KV é transferido entre eles pela rede. No modo agregado, as duas fases ficam no mesmo worker.

No lado do HyperPod, o add-on instala recursos e operadores para levar essa topologia ao Kubernetes. O HyperPod Inference Operator lê um recurso InferenceEndpointConfig (IEC); o Dynamo Operator administra o DynamoGraphDeployment (DGD); o Grove coordena grupos de pods; e o KAI Scheduler usa gang scheduling para alocar ao mesmo tempo os pods necessários a um worker multinó. A AWS também associa a pilha a contêineres de deep learning, rede Elastic Fabric Adapter (EFA), monitoramento de GPU e substituição de nós.
Dois caminhos de implantação
| Caminho | Quem deve usar | Responsabilidade principal |
|---|---|---|
| DynamoGraphDeployment próprio | Equipes que já usam manifests e recipes do Dynamo | Definir o grafo completo, armazenamento, rede, TLS, registro de endpoint e escalabilidade |
| InferenceEndpointConfig com dynamoSpec | Times já padronizados no HyperPod Inference | Declarar a configuração do Dynamo; o operador gerencia pesos, endpoint e parte da integração |
No caminho IEC, a AWS informa compatibilidade com vLLM, SGLang e TensorRT-LLM; vLLM é o padrão. O operador também fornece valores iniciais para roteamento consciente de KV cache e número de réplicas. Isso reduz configuração, mas não substitui o trabalho de dimensionar modelo, cache, paralelismo e tráfego real.
O que muda entre serving agregado e desagregado
O serving agregado é mais simples: cada worker trata prompt e geração. Pode ser a escolha adequada quando o perfil das requisições é estável, a infraestrutura é menor ou a equipe quer reduzir variáveis operacionais. Já o desenho desagregado permite aumentar separadamente a capacidade de prefill e decode. Ele faz sentido quando prompts longos pressionam o tempo até o primeiro token, quando há muitas conversas simultâneas ou quando o produto reutiliza grandes prefixos de contexto.
O roteador KV-aware tenta aproveitar prefixos cujo cache já está disponível e, ao mesmo tempo, considera a carga ativa dos workers. A consequência potencial é menos recomputação de prompt e melhor tempo até o primeiro token. Mas esse benefício depende da repetição real de contexto entre requisições; não deve ser presumido para qualquer chatbot.
Um exemplo de configuração para modelo distribuído
No exemplo da AWS, um worker agregado ocupa duas instâncias, totalizando 16 GPUs, enquanto dois frontends fazem o atendimento de requisições. A parte específica do Dynamo fica em spec.dynamoSpec:
spec:
replicas: 1
dynamoSpec:
modelServer: vllm
frontend:
replicas: 2
routingMode: kv-aware
aggregation:
nodesPerReplica: 2
tensorParallelism: 16spec.replicas controla as réplicas do worker de modelo; frontend.replicas controla as réplicas do frontend. Para separar as fases, a configuração troca aggregation por blocos independentes de prefill e decode, cada um com seu número de nós, paralelismo e réplicas. Na demonstração publicada, um pool de prefill e dois de decode, com dois nós cada, exigem seis instâncias.
Os benchmarks são promissores, mas não são uma garantia de custo ou desempenho
A AWS comparou as topologias com AIPerf. Em Qwen3-235B-A22B-FP8, usando TensorRT-LLM em duas instâncias p5en.48xlarge com 16 GPUs H200, prompts de 4.000 tokens e respostas de 200 tokens, o serving desagregado alcançou 207 tokens de saída por segundo por GPU. O melhor ponto agregado chegou a 101. São 2,05 vezes mais throughput nas condições escolhidas, com concorrências diferentes: 80 no caso desagregado e 32 no agregado.

O ponto importante é metodológico: os resultados foram filtrados para P90 de tempo até o primeiro token inferior a um segundo e velocidade mediana mínima de 50 tokens por segundo por usuário. Eles comprovam o comportamento naquela combinação de modelo, GPUs, tamanhos de prompt e SLA; não provam que a mesma relação aparecerá em outro modelo, outra distribuição de tráfego ou em uma conta AWS brasileira.
Em outro teste, a AWS dividiu Qwen3.5-397B-A17B-FP8 entre dois nós e relatou 126,4 tokens de saída por segundo por GPU, preservando 99,1% do throughput de um único nó. A própria publicação ressalva que o modelo cabia em uma instância e foi usado como baseline controlado. A leitura correta é que a fronteira entre nós não foi um gargalo relevante naquele ensaio — não que qualquer modelo terá custo de rede desprezível.

Limitações, segurança e pontos de operação
- Escopo de infraestrutura: HyperPod, EFA, Kubernetes, imagens compatíveis e GPUs de alta capacidade são requisitos de operação, não detalhes de instalação local.
- Benchmark obrigatório: a AWS recomenda reproduzir tráfego representativo, variando concorrência, tamanho de prompt, tamanho de saída e reutilização de prefixos antes de escolher a topologia.
- Falhas não desaparecem: monitoramento e recriação de worker reduzem trabalho manual, mas a aplicação ainda precisa tratar timeouts, retentativas idempotentes, limites de requisição e observabilidade.
- Dados e acesso: modelos, prompts e logs precisam seguir as políticas de IAM, rede, criptografia e retenção da organização. Um endpoint compatível com a API da OpenAI não elimina esse desenho de segurança.
- Dependência de plataforma: a experiência gerenciada simplifica componentes, porém vincula o fluxo operacional ao ecossistema SageMaker HyperPod e a suas instâncias compatíveis.
Análise do NoticIA
O aspecto mais relevante não é apenas o suporte a mais um engine de inferência. A integração coloca uma decisão de arquitetura — separar prompt e geração — dentro de um caminho gerenciado de endpoint, agendamento e recuperação. Para empresas que já pagam pela camada de GPU e mantêm equipes de plataforma, isso pode encurtar o intervalo entre um benchmark promissor e uma operação estável.
Para a maior parte dos produtos brasileiros, entretanto, a pergunta inicial continua sendo econômica: há tráfego, tamanho de contexto e previsibilidade suficientes para justificar uma frota HyperPod? Se a resposta for não, uma implantação mais simples em vLLM, SGLang ou um serviço gerenciado convencional tende a produzir melhor relação entre complexidade e resultado. Dynamo no HyperPod passa a ser mais interessante quando o modelo ou o SLA realmente exigem múltiplos nós e quando o cache de contexto pode ser aproveitado de forma mensurável.
Conclusão
AWS e NVIDIA estão aproximando a camada de inferência distribuída de uma operação de endpoint gerenciado. O Dynamo oferece topologias multinó, prefill/decode desagregado e roteamento consciente de cache; o HyperPod acrescenta o controle de infraestrutura. A combinação é tecnicamente relevante para LLMs que excedem a memória de uma máquina ou para serviços de alto volume com prompts extensos, mas a escolha deve ser sustentada por testes com tráfego e custos reais.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
