Como monitorar agentes de IA rodando fora da AWS com o AgentCore Observability

Observabilidade além dos muros da AWS

Quando você coloca agentes de IA em produção usando frameworks como Strands Agents, LangGraph ou CrewAI, precisa enxergar o que eles estão fazendo — seja no Amazon EKS, no ECS, no AWS Lambda, em servidores on-premises ou em outras nuvens como Google Cloud e Azure. O problema é que o Amazon Bedrock AgentCore Observability, apesar de oferecer rastreamento, monitoramento e análise nativos, só suporta agentes executados no runtime do AgentCore dentro da AWS.

Para agentes que rodam em qualquer outro lugar, é preciso configuração adicional para enviar telemetria ao dashboard. Um guia publicado no blog de machine learning da AWS mostra exatamente como fazer isso, usando o AWS Distro for OpenTelemetry (ADOT) com auto-instrumentação.

Como funciona o pipeline

A solução executa o ADOT dentro do próprio processo da aplicação do agente. A auto-instrumentação injeta o OpenTelemetry no runtime Python, corrigindo automaticamente o boto3 (para chamadas ao Amazon Bedrock) e o framework Strands (para os spans de raciocínio do agente). Três componentes principais formam o caminho da telemetria:

• ADOT auto-instrumentation: o comando opentelemetry-instrument cuida da complexidade de exportar telemetria a partir de ambientes externos à AWS.
• Credenciais IAM: usadas para autenticar com o CloudWatch via assinatura SigV4 e encaminhar traces, métricas e logs.
• Variáveis de ambiente: configurações do OpenTelemetry relacionadas a roteamento e autenticação.

A telemetria é exportada diretamente para o endpoint OTLP do Amazon CloudWatch, que a indexa sob o dashboard de observabilidade de IA generativa do AgentCore.

Por que isso importa para IA responsável

Observabilidade é um pilar de IA responsável. Ao rotear a telemetria para o AgentCore Observability, o time ganha visibilidade sobre as cadeias de raciocínio do agente, invocações de ferramentas e saídas dos modelos. Isso permite detectar alucinações, monitorar respostas prejudiciais ou fora de tópico, rastrear o uso de tokens para governança de custos e auditar o comportamento do agente em diferentes ambientes.

O guia ainda detalha os pré-requisitos (conta AWS com acesso ao Bedrock, Python 3.10+, credenciais IAM com permissões específicas para logs, X-Ray e CloudWatch) e inclui o passo de ativar o CloudWatch Transaction Search, necessário para a ingestão correta dos dados.