SageMaker AI ganha listas de preferência de instâncias para reduzir a espera por GPUs

Conseguir as GPUs certas no momento em que você precisa é um dos maiores gargalos no treinamento de modelos de IA em escala. Durante picos de demanda, a instância preferida pode não estar disponível — e, quando o job está preso a uma única configuração, só resta esperar ou tentar alternativas manualmente. A AWS anunciou nesta semana uma solução para esse problema no Amazon SageMaker AI: as listas de preferência de instâncias.

Como funciona

Em vez de especificar um único tipo de instância, você fornece uma lista ordenada de até cinco tipos aceitáveis ao criar um job de treinamento ou de processamento. O SageMaker AI avalia a lista em ordem de prioridade e lança o job no primeiro tipo com capacidade disponível — tudo em uma única chamada de API, sem scripts de retry ou monitoramento manual.

Se nenhum tipo da lista tiver capacidade no momento da avaliação, o job entra em uma fila orientada a eventos e tenta novamente de forma automática quando a capacidade surgir. Esse tempo de espera é limitado pelo parâmetro MaxPendingTimeInSeconds, que vale para toda a lista — e só tem efeito quando a lista inclui ao menos um tipo de computação acelerada (famílias ml.p, ml.g e ml.trn).

Integração com Flexible Training Plans

Organizações que já usam Flexible Training Plans (FTPs) — reservas de capacidade de GPU com desconto — ganham uma extensão natural: é possível anexar o plano a preferências específicas da lista e deixar as demais em on-demand. A varredura avalia primeiro a reserva e, se ela não puder provisionar, parte para o próximo tipo da lista. Se a capacidade reservada estiver esgotada, o fallback automático usa capacidade on-demand sem troca manual.

O impacto prático

Os cenários que a AWS descreve são comuns em operações reais: um pipeline de processamento noturno preso a um único tipo que falha às 2h da manhã com InsufficientCapacityError, ou uma equipe treinando um modelo de bilhões de parâmetros que precisa submeter vários jobs para encontrar capacidade. Com a lista de preferência, o job simplesmente inicia no primeiro tipo disponível — reduzindo o tempo ocioso e devolvendo o foco da equipe à construção de modelos.

O recurso já está disponível para jobs de treinamento e processamento do SageMaker AI, incluindo suporte no SDK Python v3 por meio da classe ModelTrainer.