Seu agente pode dar uma resposta perfeita e ainda escolher a ferramenta errada, gastar demais ou piorar depois de uma mudança de prompt. A AWS abriu um projeto com 36 métricas para pegar esse tipo de falha antes do deploy. Ele atende equipes que usam mais de um framework.
O Universal Agent Evaluation Framework, ou UAEF, é uma camada de testes para agentes de IA. Ele recebe o registro de uma execução, compara o comportamento com uma referência e transforma isso em notas de qualidade, segurança, custo e desempenho.
Por que isso mexe com quem já usa agentes
Quem mantém um agente em produção conhece a armadilha. Você troca o modelo, ajusta uma instrução ou conecta uma nova ferramenta. O chat continua bonito, mas o agente passa a chamar a API na ordem errada, demora mais ou deixa de pedir um dado essencial.
Hoje, muita equipe testa isso de um jeito diferente em cada stack. O UAEF tenta virar uma régua comum. Ele aceita rastros de LangGraph, LangChain, Bedrock Agents, Langfuse, Strands, AgentCore e um JSON customizado, segundo a documentação do projeto.
Na prática, ele responde uma pergunta antes da próxima release: a mudança melhorou o agente ou só mudou o jeito como ele erra? Para quem já acompanha como avaliar agentes sem mascarar regressões, o UAEF oferece uma implementação pronta dessa disciplina.
Ele transforma rastros diferentes na mesma ficha
Um agente deixa rastros: mensagens, chamadas de ferramentas, argumentos, tempo de resposta e trocas entre subagentes. Cada framework registra isso à sua maneira. O UAEF usa adaptadores para converter tudo em um formato comum chamado AgentTrace.
Pense em uma oficina que recebe carros de marcas diferentes. Antes de testar freio, consumo e suspensão, ela coloca todos numa mesma bancada. O UAEF faz isso com o rastro do agente. Depois, aplica as mesmas verificações independentemente da ferramenta que produziu o dado.

As 36 métricas estão divididas em sete frentes: uso de ferramentas, qualidade da resposta, segurança, desempenho, conversas longas, coordenação entre agentes e raciocínio. Há medições como seleção da ferramenta, latência, eficiência de tokens, detecção de injeção de prompt e consistência lógica.
A prova: rodamos o projeto e ele mostrou onde mora o custo
A redação clonou o repositório e instalou as dependências com uv sync. Depois, executou uma avaliação simples em português. O teste retornou nota 1,00 e status aprovado para uma resposta factual curta.
O caminho não foi só copiar e colar. O campo trace_id precisa ser um UUID válido, embora o exemplo mais simples do README use uma string comum. Também vimos que a chamada completa tenta ativar métricas baseadas em Bedrock, RAGAS e DeepEval.
Sem credenciais da AWS ou uma chave da OpenAI, essas avaliações que usam um modelo como juiz não terminam. A nota básica ainda foi calculada. O UAEF roda localmente, mas extrair todo o pacote pede configuração de nuvem e pode aumentar o custo.
O lado honesto
- Não é um botão mágico: você precisa fornecer rastros úteis e, em vários casos, uma resposta ou chamada de ferramenta esperada.
- Nem toda métrica é gratuita: as que usam Bedrock, OpenAI ou outro modelo exigem conta, credenciais e consumo.
- Isolamento é responsabilidade da plataforma: a AWS recomenda separar contas ou stacks em implantações com vários clientes.
- O pacote é pesado: a instalação traz bibliotecas que talvez você não use no primeiro teste.
Como testar o UAEF no seu agente
- Clone o repositório. Rode
git clone https://github.com/awslabs/uaef.git,cd uaefeuv sync. - Comece por um caso conhecido: pergunta, resposta esperada e ferramentas que deveriam ser chamadas.
- Converta o log para
AgentTraceou use o adaptador do seu framework. - Rode a avaliação antes e depois de mudar prompt, modelo ou ferramenta. Guarde a linha de base.
Se você usa agentes que acionam sistemas externos, inclua chamadas de ferramenta na referência. Uma resposta certa com a ação errada ainda é erro. Esse é o tipo de detalhe que aparece em incidentes reais e também no debate sobre segurança de agentes.
O que observar daqui pra frente
A melhor parte do UAEF não é a lista de 36 métricas. É a ideia de tratar mudanças em agentes como mudança de software: medir antes, comparar depois e barrar regressões. Se sua equipe já altera prompts toda semana, essa rotina provavelmente vale mais do que mais um gráfico bonito no dashboard.
Gancho para Reel: “Seu agente pode parecer melhor e estar piorando.” Nos primeiros 3 segundos, mostre uma chamada de ferramenta certa e outra errada. Feche com “36 métricas”.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
