Desenvolvimento orientado por avaliações, ou eval-driven development (EDD), é uma forma de construir agentes de IA em que cada mudança é comparada contra critérios e exemplos fixos antes de chegar ao usuário. Em vez de ajustar um prompt, testar duas perguntas manualmente e concluir que o agente “parece melhor”, a equipe define o comportamento esperado, mede uma linha de base e só aceita alterações que melhoram o conjunto sem quebrar casos que já funcionavam. A LangChain publicou esse método em 9 de novembro de 2026 como um ciclo de especificação, avaliação e comparação de experimentos.

O ponto central é simples: agentes são não determinísticos. Uma mesma pergunta pode receber respostas diferentes; duas respostas com redações distintas podem estar corretas; e uma sequência de ferramentas pode produzir a resposta final certa mesmo usando passos desnecessários. Por isso, testes tradicionais de igualdade exata não bastam. O EDD transforma a definição de “bom comportamento” em avaliações que podem observar resposta final, escolha de ferramenta, sequência de ações ou o estado que o agente deixou em um ambiente isolado.

Resumo: o ciclo que substitui o “mexer no prompt e torcer”

  • Defina um comportamento por vez: descreva o que o agente deve fazer, o que não pode fazer e o que precisa continuar funcionando.
  • Monte casos realistas: use falhas e interações de produção como matéria-prima, complementadas por exemplos sintéticos revisados.
  • Escolha uma forma objetiva de pontuar: regras em código quando possível; julgamento por modelo apenas quando a avaliação exige interpretação.
  • Registre uma linha de base: a mudança só é uma melhoria se o experimento novo superar o anterior sem regressões relevantes.
  • Feche o ciclo na produção: rastreamento, amostragem e revisão humana devem transformar erros inéditos em novos casos de avaliação.

O que é EDD e por que ele é necessário em agentes

O EDD toma emprestada a disciplina do desenvolvimento orientado a testes, mas não tenta fingir que um agente é software determinístico. Em testes convencionais, a equipe costuma escrever uma condição de falha, implementar o código e verificar uma saída precisa. Em um agente, a resposta pode variar legitimamente; além disso, uma resposta plausível pode esconder uma ferramenta chamada sem necessidade, uma citação incorreta ou uma ação arriscada.

Na formulação da LangChain, uma avaliação é o critério que mede uma execução do agente diante de um conjunto de exemplos. O conjunto pode conter a entrada do usuário e, quando fizer sentido, uma saída de referência ou a ação esperada. A avaliação pode checar desde algo binário — “a ferramenta correta foi chamada?” — até uma propriedade mais ampla, como a qualidade de uma resposta, desde que os critérios estejam delimitados.

Isso muda a conversa de produto. A pergunta deixa de ser “qual prompt parece mais inteligente?” e passa a ser “qual versão atende melhor aos requisitos definidos, em quais casos ela piorou e por quê?”. Para agentes que consultam documentos, atendem clientes, executam fluxos internos ou usam ferramentas externas, essa troca é uma condição de governança, não apenas de produtividade.

✅ O que uma estratégia de avaliações bem feita entrega

  • Uma forma reproduzível de comparar versões de prompt, modelo, ferramenta, memória ou política de roteamento.
  • Detecção de regressões: uma melhoria em uma nova tarefa não deve quebrar uma tarefa antiga.
  • Critérios explícitos para comportamentos sensíveis, como pedir confirmação, recusar uma ação ou encaminhar uma solicitação para uma pessoa.
  • Rastreabilidade para investigar por que uma execução falhou, incluindo chamadas de modelo e de ferramentas.
  • Um processo para transformar incidentes reais em testes permanentes antes da próxima alteração.

⚠️ O que EDD não resolve sozinho

  • Uma avaliação mal definida mede a coisa errada com consistência; ela não cria qualidade por si só.
  • Nota média alta não prova segurança, precisão factual ou adequação jurídica em todos os contextos.
  • Otimizar repetidamente o mesmo conjunto pode gerar sobreajuste: o agente aprende os exemplos, mas falha em formulações novas.
  • Um avaliador baseado em LLM também precisa ser validado contra julgamento humano antes de se tornar a única barreira de aprovação.

Tabela de requisitos para começar

ComponenteMínimoRecomendadoIdeal
EscopoUm comportamento concretoRequisitos de “faça” e “não faça”Critérios de risco, qualidade e custo aprovados pelo produto
Dados10 exemplos revisadosCasos reais anonimizados e exemplos de bordaConjunto de desenvolvimento e conjunto oculto de validação
AvaliadorRegra binária simplesRegras em código mais revisão humanaCombinação de regras, estado final, LLM juiz calibrado e auditoria humana
InfraestruturaExecução local repetívelExperimentos registrados por versãoCI, rastreamento em produção e ambientes isolados para ações
Conhecimento prévioFluxo atual do agenteNoções de testes e observabilidadeEquipe com produto, engenharia, segurança e operação
O EDD pode começar pequeno, mas exige que a equipe saiba declarar o que considera um resultado aceitável.

Passo 1: escreva uma especificação que possa ser reprovada

A unidade de trabalho não é “melhorar o agente inteiro”. Escolha uma capacidade com fronteiras claras: responder dúvidas sobre políticas internas, abrir um chamado, classificar um documento ou pedir mais contexto. Depois registre três elementos: o gatilho, a ação esperada e as proibições.

A LangChain ilustra isso com um agente de documentação interna que também pode abrir chamados de TI. “Meu notebook não conecta à VPN” é uma solicitação de ação; “como conectar à VPN?” é uma dúvida que deve continuar sendo atendida pela busca na documentação. A diferença parece pequena para uma pessoa, mas é justamente onde descrições de ferramenta amplas demais costumam gerar ações indevidas.

# Exemplo conceitual de especificação — não é uma API da LangChain
Comportamento: encaminhar incidentes de TI
Quando: o usuário relata uma falha que exige intervenção
Faça: abra ou encaminhe um chamado com os dados mínimos
Não faça: abra chamado para uma dúvida de instruções já respondível pela base
Preserve: consultas informativas devem continuar usando a busca documental

O motivo de escrever antes é evitar que a equipe adapte a regra ao comportamento que acabou de observar. A especificação deve ser suficientemente objetiva para resultar em aprovação ou reprovação. “Responder de forma útil” é vago; “não abrir chamado para perguntas de procedimento e citar a fonte consultada” pode virar uma avaliação verificável.

Ilustração da LangChain com roteamento entre busca de documentação e abertura de chamado
O caso didático da fonte separa uma consulta à documentação de uma ação operacional.

Passo 2: construa um conjunto de avaliação que pareça produção

Um conjunto de dados de avaliação é uma coleção de exemplos. A LangChain recomenda aproveitar execuções reais quando elas existirem, pois usuários escrevem pedidos e combinam restrições de formas que uma equipe raramente antecipa. Os exemplos precisam ser anonimizados e tratados de acordo com a política de dados da organização; tráfego real não deve ser copiado para uma base de testes sem controle de privacidade.

Comece com casos que representam o fluxo normal e inclua casos que não podem mudar. Para o agente de TI, entram pedidos legítimos de chamado e perguntas que deveriam continuar indo para a documentação. Também valem reformulações, mensagens frustradas e pedidos ambíguos. A fonte ressalta que uma LLM pode ajudar a reescrever exemplos para criar variações, mas a regra de correção continua sendo responsabilidade da equipe.

Ilustração da LangChain sobre um conjunto de dados de avaliação para agente de documentação
Exemplo visual da fonte sobre dados de avaliação para um agente de documentação.

Passo 3: escolha o avaliador adequado à evidência

Nem todo resultado deve ser avaliado por outro modelo. Quando existe um estado objetivo, a primeira opção deve ser uma regra em código. A escolha da ferramenta certa, a presença de um campo obrigatório, a validação de um arquivo ou o resultado de uma ação em sandbox são exemplos verificáveis sem interpretação. Essa abordagem reduz custo e torna a falha mais auditável.

Para respostas abertas, pode ser necessário um avaliador por LLM ou uma revisão humana estruturada. Nesse caso, a LangChain recomenda perguntas estreitas e critérios binários ou pouco ambíguos, em vez de uma nota vaga de 1 a 10. Antes de confiar em um LLM juiz, compare sua decisão a avaliações humanas em uma amostra representativa. Se os dois divergem de forma sistemática, a automação está introduzindo uma nova fonte de erro.

Ilustração da LangChain sobre avaliador de escolha de ferramentas
Na fonte, a escolha de ferramenta é tratada como um critério que pode ser checado por código.

Passo 4: estabeleça a linha de base e compare experimentos

Antes de alterar o agente, rode o conjunto atual e guarde os resultados. Cada mudança — uma descrição de ferramenta, um modelo, uma política de recuperação, uma memória ou um prompt — deve gerar um experimento comparável. Sem a linha de base, uma demonstração isolada não diz se a versão nova melhorou ou apenas acertou uma pergunta conveniente.

O cuidado decisivo é olhar caso a caso, não só a média. No exemplo da LangChain, a nova ferramenta de chamados faz os casos de incidente passarem, mas passa a abrir chamado para a pergunta “Como conecto à VPN?”. A média sobe e, ainda assim, uma capacidade útil foi perdida. Ao consultar o rastreio da execução, a equipe identifica uma descrição de ferramenta excessivamente ampla e a restringe para pedidos que exigem ação de TI.

Comparação de experimentos de avaliação de agente exibida pela LangChain
Comparar exemplos individualmente revela regressões que uma média pode esconder.
Experimentos de avaliação de agentes mostrados pela LangChain
Experimentos organizam entradas, saídas e notas de cada versão para comparação posterior.

Como evitar o sobreajuste ao conjunto de testes

Um placar de 100% pode ser uma boa notícia ou um alerta. Se a equipe altera o agente muitas vezes vendo sempre os mesmos exemplos, ela pode otimizar para aquelas frases específicas, não para o comportamento desejado. A orientação prática é separar um conjunto usado na iteração de outro, mantido oculto até a validação. Se o resultado melhora no primeiro e permanece estável no segundo, há indício de sobreajuste.

Também é importante vincular cada avaliação a uma mudança real: uma falha corrigida, um recurso novo ou uma regra de segurança. Isso impede que a suíte cresça como uma coleção de métricas sem propósito e torna mais fácil remover testes obsoletos de forma deliberada, com revisão de risco.

Produção: a avaliação não termina no pull request

Antes do lançamento, a base de testes contém principalmente o que a equipe imaginou. Em produção surgem novas expressões, combinações de ferramentas e casos extremos. Por isso, o ciclo precisa de rastreamento de execuções, amostragem proporcional ao custo, sinalização de casos suspeitos e revisão humana. Falhas confirmadas devem virar novos exemplos e novas condições de aprovação.

Para agentes que modificam um ambiente — por exemplo, um agente de código em sandbox — a resposta final e duas chamadas de ferramenta não são evidência suficiente. É preciso avaliar o estado final, com um ambiente limpo por execução, para que uma tentativa não contamine a seguinte. A fonte cita o Harbor como um framework aberto para executar tarefas nesse modelo, com sandbox e script de teste para avaliar o resultado final.

Rastreamento de execução de agente demonstrado pela LangChain
Rastreamentos são a evidência para entender a causa de uma falha, e não apenas registrar sua nota.

Casos de uso práticos

  • Atendimento interno: verificar se o agente encaminha incidentes e não cria solicitações desnecessárias.
  • RAG corporativo: medir se respostas citam a base correta, admitem ausência de evidência e evitam inventar políticas.
  • Agentes de código: testar o estado do repositório, os testes executados e a ausência de alterações fora do escopo.
  • Automação financeira ou operacional: exigir confirmação antes de ações irreversíveis e testar limites de autorização.
  • Assistentes de vendas: conferir se qualificam a demanda, não prometem integrações inexistentes e encaminham exceções para pessoas.

Troubleshooting: cinco falhas recorrentes

  • ❌ A média melhorou, mas usuários reclamaram. Causa: regressões ocultas por uma média agregada. Solução: compare os exemplos individualmente e mantenha casos de preservação explícitos.
  • ❌ A avaliação passa, mas o agente falha com pedidos reais. Causa: exemplos artificiais demais. Solução: acrescente execuções reais anonimizadas e variações de linguagem.
  • ❌ O LLM juiz aprova respostas erradas. Causa: critério amplo ou juiz não calibrado. Solução: reduza a pergunta, use pass/fail e compare com notas humanas.
  • ❌ A equipe não sabe por que uma execução reprovou. Causa: ausência de rastreamento. Solução: registre entradas, chamadas de modelo, ferramentas, saídas e versão do agente.
  • ❌ Uma alteração passa no desenvolvimento e quebra produção. Causa: suíte sem casos novos e sem observabilidade pós-lançamento. Solução: amostre tráfego, revise sinalizações e promova falhas confirmadas a exemplos permanentes.

Análise do NoticIA: avaliações são o contrato operacional do agente

Na análise do NoticIA, o valor do EDD não está em substituir a avaliação humana por um placar, mas em tornar as decisões de produto contestáveis e repetíveis. Um agente que pode consultar dados internos ou disparar uma ferramenta não deve ser aprovado porque uma demo foi convincente. Ele precisa de um contrato operacional: comportamentos permitidos, limites, evidências e uma forma de detectar quando uma versão nova trocou uma falha por outra.

Para equipes brasileiras que estão saindo de protótipos de chat para fluxos com impacto operacional, o caminho mais seguro é começar por uma ação de risco delimitada. Construa 10 a 20 casos, estabeleça um verificador simples, registre a linha de base e só então automatize avaliações mais subjetivas. A disciplina é mais importante que a plataforma escolhida.

Perguntas frequentes

EDD exige usar LangChain ou LangSmith?

Não. A metodologia descreve um ciclo de especificação, exemplos, avaliação e comparação. A LangChain apresenta suas ferramentas como implementação desse fluxo, mas os princípios podem ser aplicados a outros frameworks.

Qual é o menor conjunto de casos útil?

Não há número universal. Comece com exemplos suficientes para cobrir o comportamento novo, os caminhos que não podem regredir e os casos de borda mais prováveis; depois amplie com falhas reais.

Um LLM pode ser o único avaliador?

Não é recomendável para critérios objetivos. Quando uma regra em código ou um teste de estado final é possível, ela tende a ser mais auditável. Um LLM juiz precisa de calibração humana.

Como saber se houve sobreajuste?

Mantenha um conjunto de validação que não seja usado durante os ajustes. Se a nota sobe apenas no conjunto conhecido, o agente pode estar se adaptando aos exemplos em vez do comportamento.

Devo rodar todas as avaliações em cada alteração?

Use divisões de dados: um subconjunto rápido para a capacidade em desenvolvimento, a suíte completa antes de publicar e avaliações mais lentas em rotinas programadas ou antes de uma versão crítica.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

1 comentário

Deixe seu comentário