Amazon SageMaker AI Spaces: IDEs interativos no EKS para turbinar fluxos de IA

O problema: IDEs desconectadas do cluster de machine learning

Quem trabalha com machine learning no Amazon EKS conhece o dilema: os pipelines de treinamento rodam no cluster com GPUs, storage compartilhado e roles IAM bem configuradas — mas na hora de escrever código, o cientista de dados precisa sair do cluster e abrir um JupyterLab em outro lugar. Essa troca de contexto quebra o fluxo de trabalho e desperdiça recursos.

A AWS acaba de lançar o Amazon SageMaker AI Spaces, um add-on para EKS que resolve esse problema de uma vez. Ele roda ambientes gerenciados de JupyterLab e Code Editor diretamente no cluster que sua equipe já opera. O que antes levava de 3 a 5 dias para uma equipe de plataforma configurar (JupyterHub standalone com GPU, storage e autenticação), agora um cientista de dados sobe em cerca de 5 minutos.

Arquitetura em três camadas

A solução roda em um único cluster EKS organizado em três camadas:

• Rede e acesso: O Amazon Route 53 resolve um domínio wildcard para um Application Load Balancer (ALB) com TLS do AWS Certificate Manager. Para acesso via VS Code, o AWS Systems Manager (SSM) tunela diretamente para o pod do Space.
• Roteamento no cluster: O AWS Load Balancer Controller provisiona o ALB. O Traefik faz roteamento por hostname. Middleware de autenticação valida tokens usando AWS KMS para criptografia JWT.
• Computação e storage: Os pods dos Spaces rodam em workers de sub-rede privada. O driver CSI do Amazon EBS fornece volumes persistentes, e Amazon EFS ou Amazon FSx cuidam de storage compartilhado. O EKS Pod Identity concede roles IAM com escopo reduzido a cada pod.

Um dado interessante: consolidar workloads interativas e de treinamento no mesmo cluster mantém as GPUs ocupadas entre os jobs, elevando a utilização de GPU em até 30% comparado a uma frota dedicada de notebooks. Isso evita o custo de um ambiente GPU sempre ligado, que pode chegar a milhares de dólares por mês.

Pré-requisitos e primeiros passos

Para implementar, você precisa de:

• Conta AWS com AWS CLI 2.x configurado
• kubectl 1.30+ e Helm v3
• Um domínio próprio com hosted zone pública no Route 53
• Permissões IAM para criar roles, políticas, add-ons do EKS, certificados ACM e chaves KMS
• O add-on Spaces versão 0.1.4 ou superior (versões anteriores só suportavam SageMaker HyperPod)

Um passo frequentemente esquecido: etiquete cada subnet da VPC antes de instalar o Spaces. Sem as tags corretas, o Load Balancer Controller pode colocar o ALB em sub-redes privadas, tornando os Spaces inacessíveis.

Configuração do cluster e fundação

O cluster EKS precisa atender quatro requisitos específicos para o Spaces:

1. EKS Auto Mode desabilitado — o add-on requer nós EC2 clássicos com Kubernetes 1.30+
2. VPC com sub-redes públicas e privadas em pelo menos duas AZs, com NAT gateway nas sub-redes privadas
3. Acesso ao endpoint do cluster público e privado
4. Add-ons EKS Pod Identity Agent, Amazon EBS CSI Driver, Cert Manager e External DNS instalados na criação

Depois do cluster pronto, o External DNS precisa de permissões no Route 53 para gerenciar registros DNS. A AWS recomenda criar uma role IAM com política de privilégio mínimo e vinculá-la via Pod Identity — sem usar wildcards desnecessários.

Instalando o Load Balancer Controller

O AWS Load Balancer Controller gerencia o ALB que expõe a UI dos Spaces. A instalação segue o padrão Helm, mas com uma pegadinha: a partir do chart v3.2+, é obrigatório passar vpcId e region explicitamente. O controller falha se tentar detectar a VPC via metadados EC2, que o EKS bloqueia para pods.

Certificado TLS, chave KMS e acesso remoto

O Spaces exige três recursos de segurança:

1. Certificado ACM cobrindo o domínio e wildcard, com validação DNS
2. Chave KMS para criptografia de tokens JWT
3. Configuração SSM para acesso remoto via VS Code

Um detalhe importante: mantenha os CNAMEs de validação DNS no Route 53. Removê-los quebra a renovação automática do certificado ACM.

Custo e observações finais

O Spaces add-on é gratuito, mas você paga pelos recursos AWS consumidos: ALB, volumes EBS, e o SSM advanced-instances tier a cerca de US$ 0,00695 por hora por pod Space. O ganho de produtividade — de dias para minutos na configuração, mais 30% de eficiência de GPU — tende a compensar esses custos operacionais.

Para times que já operam EKS para ML, o SageMaker AI Spaces elimina a fricção entre desenvolvimento e produção, unificando tudo em um único cluster com governança consistente de IAM, storage e rede.