AWS lança BatchWriteRecord e ListRecords no SageMaker Feature Store

AWS lança APIs de gravação em lote e listagem de registros no SageMaker Feature Store

A Amazon anunciou duas novas APIs para o Amazon SageMaker Feature Store, o repositório gerenciado para armazenar e compartilhar features de modelos de machine learning: BatchWriteRecord e ListRecords. O anúncio ataca dois gargalos operacionais recorrentes em pipelines de ML em produção: a baixa vazão da escrita um a um e a impossibilidade de descobrir o que existe no armazenamento em memória.

Os dois problemas resolvidos

Até agora, equipes que rodam pipelines de features em alta vazão precisavam chamar o PutRecord — que grava um único registro por vez — em loop. Isso significa uma chamada de API por registro, por feature group. Um pipeline de detecção de fraude que ingere 10 mil registros por segundo em cinco feature groups precisaria sustentar 50 mil chamadas de API por segundo só para manter as features atualizadas.

O segundo gargalo atinge o armazenamento In-Memory (baseado em Redis): não havia como navegar ou enumerar os registros guardados no armazenamento online. Se os identificadores se perdessem por um bug ou falha de pipeline, os registros se tornavam irrecuperáveis — sem store offline para recorrer, sem consulta no Athena e sem API para descobrir o que existia.

O que cada API faz

• BatchWriteRecord: grava até 25 registros em múltiplos feature groups em uma única chamada, com semântica de sucesso parcial, controle de TTL (time-to-live) por registro e as mesmas garantias de ordenação por EventTime do PutRecord.
• ListRecords: enumera os identificadores de registros dentro de um feature group usando paginação. Funciona tanto no armazenamento Standard (baseado em DynamoDB) quanto no In-Memory (baseado em Redis).

A gravação em lote reduz drasticamente a sobrecarga de conexão e melhora a vazão de pipelines que movimentam dezenas de milhares de eventos por segundo. Já o ListRecords devolve visibilidade sobre o armazenamento online — um requisito básico de observabilidade que faltava no tier In-Memory.

Permissões mínimas

Para usar as novas APIs, a role de execução precisa das ações sagemaker:BatchWriteRecord, sagemaker:PutRecord e sagemaker:ListRecords sobre o recurso feature-group/*, além de acesso ao S3 e ao AWS Glue para o pipeline completo.

Leitura do NoticIA

O anúncio confirma uma direção já visível no mercado de MLOps: a infraestrutura de features está deixando de ser apenas um repositório para se tornar uma camada de serviço com garantias de vazão e observabilidade. Para times brasileiros que operam fraudes, crédito, recomendação e personalização em larga escala, a combinação de escrita em lote e descoberta de registros reduz custo de infraestrutura e elimina uma classe inteira de incidentes de “dados órfãos”.

É importante notar que o BatchWriteRecord não é um substituto universal do PutRecord: ele agrega escritas, mas exige que a aplicação acumule registros antes de enviar, o que pode não se adequar a casos de latência estrita. A documentação também destaca que os limites (25 registros por chamada) precisam ser respeitados no desenho do pipeline.