AWS integra Ray ao SageMaker HyperPod e simplifica treinamento distribuído de IA

A AWS anunciou nesta segunda-feira (24) novas capacidades de Ray no Amazon SageMaker HyperPod, integrando o framework de código aberto à infraestrutura dedicada ao treinamento e ao serving de modelos de fundação. A novidade elimina boa parte do trabalho de infraestrutura que os cientistas de dados enfrentavam para rodar Ray em Kubernetes.

O problema que a AWS resolve

Ray é um framework aberto usado para escalar cargas de trabalho distribuídas em Python entre clusters de GPUs — do treinamento distribuído com Ray Train ao serving de modelos com Ray Serve. Em Kubernetes, os clusters Ray são gerenciados pelo KubeRay, um operador open source que controla o ciclo de vida por meio de recursos customizados (RayCluster, RayJob e RayService).

Até agora, rodar Ray exigia que o cientista de dados escrevesse manifestos YAML, gerenciasse reconstruções de imagem Docker a cada mudança de dependência, configurasse port-forward no kubectl para acessar o Ray Dashboard e montasse Prometheus e Grafana manualmente para observabilidade.

O que muda agora

Com o lançamento, dá para criar clusters Ray, abrir o Ray Dashboard e os painéis de observabilidade do Amazon Managed Grafana, conectar um workspace do JupyterLab ou Code Editor ao cluster, submeter jobs distribuídos e configurar detecção de jobs travados — tudo a partir do SageMaker Studio, sem tocar em YAML ou kubectl.

No nível da aplicação, os jobs de treinamento Ray ganham tolerância a falhas automática por meio do monitoramento e da recuperação de saúde dos nós do HyperPod, além de checkpointing em camadas para retomada mais rápida. A integração com o SageMaker JumpStart carrega os pesos dos modelos diretamente nos endpoints do Ray Serve, com offloading de cache KV para armazenamento em camadas no serving de contexto longo.

Um ponto importante: tudo isso funciona com o KubeRay open source e as APIs padrão do Ray, então scripts e fluxos existentes continuam rodando sem modificação.

Por que isso importa

Para equipes que treinam ou servem modelos de fundação, a mudança reduz o tempo entre experimento e produção. Em vez de gastar horas configurando infraestrutura de observabilidade e rede, o cientista de dados concentra o trabalho no modelo — com a AWS assumindo a resiliência da infraestrutura por baixo. É mais um movimento da AWS para tornar o HyperPod um destino padrão para cargas de IA distribuídas.