Seu agente pode dar uma resposta perfeita e ainda escolher a ferramenta errada, gastar demais ou piorar depois de uma mudança de prompt. A AWS abriu um projeto com 36 métricas para pegar esse tipo de falha antes do deploy. Ele atende equipes que usam mais de um framework.

O Universal Agent Evaluation Framework, ou UAEF, é uma camada de testes para agentes de IA. Ele recebe o registro de uma execução, compara o comportamento com uma referência e transforma isso em notas de qualidade, segurança, custo e desempenho.

Por que isso mexe com quem já usa agentes

Quem mantém um agente em produção conhece a armadilha. Você troca o modelo, ajusta uma instrução ou conecta uma nova ferramenta. O chat continua bonito, mas o agente passa a chamar a API na ordem errada, demora mais ou deixa de pedir um dado essencial.

Hoje, muita equipe testa isso de um jeito diferente em cada stack. O UAEF tenta virar uma régua comum. Ele aceita rastros de LangGraph, LangChain, Bedrock Agents, Langfuse, Strands, AgentCore e um JSON customizado, segundo a documentação do projeto.

Na prática, ele responde uma pergunta antes da próxima release: a mudança melhorou o agente ou só mudou o jeito como ele erra? Para quem já acompanha como avaliar agentes sem mascarar regressões, o UAEF oferece uma implementação pronta dessa disciplina.

Ele transforma rastros diferentes na mesma ficha

Um agente deixa rastros: mensagens, chamadas de ferramentas, argumentos, tempo de resposta e trocas entre subagentes. Cada framework registra isso à sua maneira. O UAEF usa adaptadores para converter tudo em um formato comum chamado AgentTrace.

Pense em uma oficina que recebe carros de marcas diferentes. Antes de testar freio, consumo e suspensão, ela coloca todos numa mesma bancada. O UAEF faz isso com o rastro do agente. Depois, aplica as mesmas verificações independentemente da ferramenta que produziu o dado.

Diagrama do UAEF: adaptadores normalizam o rastro do agente, o motor aplica métricas e os resultados viram relatórios
O UAEF normaliza o rastro do agente antes de calcular métricas e comparar versões. Imagem: AWS.

As 36 métricas estão divididas em sete frentes: uso de ferramentas, qualidade da resposta, segurança, desempenho, conversas longas, coordenação entre agentes e raciocínio. Há medições como seleção da ferramenta, latência, eficiência de tokens, detecção de injeção de prompt e consistência lógica.

A prova: rodamos o projeto e ele mostrou onde mora o custo

A redação clonou o repositório e instalou as dependências com uv sync. Depois, executou uma avaliação simples em português. O teste retornou nota 1,00 e status aprovado para uma resposta factual curta.

O caminho não foi só copiar e colar. O campo trace_id precisa ser um UUID válido, embora o exemplo mais simples do README use uma string comum. Também vimos que a chamada completa tenta ativar métricas baseadas em Bedrock, RAGAS e DeepEval.

Sem credenciais da AWS ou uma chave da OpenAI, essas avaliações que usam um modelo como juiz não terminam. A nota básica ainda foi calculada. O UAEF roda localmente, mas extrair todo o pacote pede configuração de nuvem e pode aumentar o custo.

Demonstração da interface web do UAEF publicada pela AWS.

O lado honesto

  • Não é um botão mágico: você precisa fornecer rastros úteis e, em vários casos, uma resposta ou chamada de ferramenta esperada.
  • Nem toda métrica é gratuita: as que usam Bedrock, OpenAI ou outro modelo exigem conta, credenciais e consumo.
  • Isolamento é responsabilidade da plataforma: a AWS recomenda separar contas ou stacks em implantações com vários clientes.
  • O pacote é pesado: a instalação traz bibliotecas que talvez você não use no primeiro teste.

Como testar o UAEF no seu agente

  1. Clone o repositório. Rode git clone https://github.com/awslabs/uaef.git, cd uaef e uv sync.
  2. Comece por um caso conhecido: pergunta, resposta esperada e ferramentas que deveriam ser chamadas.
  3. Converta o log para AgentTrace ou use o adaptador do seu framework.
  4. Rode a avaliação antes e depois de mudar prompt, modelo ou ferramenta. Guarde a linha de base.

Se você usa agentes que acionam sistemas externos, inclua chamadas de ferramenta na referência. Uma resposta certa com a ação errada ainda é erro. Esse é o tipo de detalhe que aparece em incidentes reais e também no debate sobre segurança de agentes.

O que observar daqui pra frente

A melhor parte do UAEF não é a lista de 36 métricas. É a ideia de tratar mudanças em agentes como mudança de software: medir antes, comparar depois e barrar regressões. Se sua equipe já altera prompts toda semana, essa rotina provavelmente vale mais do que mais um gráfico bonito no dashboard.

Gancho para Reel: “Seu agente pode parecer melhor e estar piorando.” Nos primeiros 3 segundos, mostre uma chamada de ferramenta certa e outra errada. Feche com “36 métricas”.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário