Desenvolvimento orientado por avaliações, ou eval-driven development (EDD), é uma forma de construir agentes de IA em que cada mudança é comparada contra critérios e exemplos fixos antes de chegar ao usuário. Em vez de ajustar um prompt, testar duas perguntas manualmente e concluir que o agente “parece melhor”, a equipe define o comportamento esperado, mede uma linha de base e só aceita alterações que melhoram o conjunto sem quebrar casos que já funcionavam. A LangChain publicou esse método em 9 de novembro de 2026 como um ciclo de especificação, avaliação e comparação de experimentos.
O ponto central é simples: agentes são não determinísticos. Uma mesma pergunta pode receber respostas diferentes; duas respostas com redações distintas podem estar corretas; e uma sequência de ferramentas pode produzir a resposta final certa mesmo usando passos desnecessários. Por isso, testes tradicionais de igualdade exata não bastam. O EDD transforma a definição de “bom comportamento” em avaliações que podem observar resposta final, escolha de ferramenta, sequência de ações ou o estado que o agente deixou em um ambiente isolado.
Resumo: o ciclo que substitui o “mexer no prompt e torcer”
- Defina um comportamento por vez: descreva o que o agente deve fazer, o que não pode fazer e o que precisa continuar funcionando.
- Monte casos realistas: use falhas e interações de produção como matéria-prima, complementadas por exemplos sintéticos revisados.
- Escolha uma forma objetiva de pontuar: regras em código quando possível; julgamento por modelo apenas quando a avaliação exige interpretação.
- Registre uma linha de base: a mudança só é uma melhoria se o experimento novo superar o anterior sem regressões relevantes.
- Feche o ciclo na produção: rastreamento, amostragem e revisão humana devem transformar erros inéditos em novos casos de avaliação.
O que é EDD e por que ele é necessário em agentes
O EDD toma emprestada a disciplina do desenvolvimento orientado a testes, mas não tenta fingir que um agente é software determinístico. Em testes convencionais, a equipe costuma escrever uma condição de falha, implementar o código e verificar uma saída precisa. Em um agente, a resposta pode variar legitimamente; além disso, uma resposta plausível pode esconder uma ferramenta chamada sem necessidade, uma citação incorreta ou uma ação arriscada.
Na formulação da LangChain, uma avaliação é o critério que mede uma execução do agente diante de um conjunto de exemplos. O conjunto pode conter a entrada do usuário e, quando fizer sentido, uma saída de referência ou a ação esperada. A avaliação pode checar desde algo binário — “a ferramenta correta foi chamada?” — até uma propriedade mais ampla, como a qualidade de uma resposta, desde que os critérios estejam delimitados.
Isso muda a conversa de produto. A pergunta deixa de ser “qual prompt parece mais inteligente?” e passa a ser “qual versão atende melhor aos requisitos definidos, em quais casos ela piorou e por quê?”. Para agentes que consultam documentos, atendem clientes, executam fluxos internos ou usam ferramentas externas, essa troca é uma condição de governança, não apenas de produtividade.
✅ O que uma estratégia de avaliações bem feita entrega
- Uma forma reproduzível de comparar versões de prompt, modelo, ferramenta, memória ou política de roteamento.
- Detecção de regressões: uma melhoria em uma nova tarefa não deve quebrar uma tarefa antiga.
- Critérios explícitos para comportamentos sensíveis, como pedir confirmação, recusar uma ação ou encaminhar uma solicitação para uma pessoa.
- Rastreabilidade para investigar por que uma execução falhou, incluindo chamadas de modelo e de ferramentas.
- Um processo para transformar incidentes reais em testes permanentes antes da próxima alteração.
⚠️ O que EDD não resolve sozinho
- Uma avaliação mal definida mede a coisa errada com consistência; ela não cria qualidade por si só.
- Nota média alta não prova segurança, precisão factual ou adequação jurídica em todos os contextos.
- Otimizar repetidamente o mesmo conjunto pode gerar sobreajuste: o agente aprende os exemplos, mas falha em formulações novas.
- Um avaliador baseado em LLM também precisa ser validado contra julgamento humano antes de se tornar a única barreira de aprovação.
Tabela de requisitos para começar
| Componente | Mínimo | Recomendado | Ideal |
|---|---|---|---|
| Escopo | Um comportamento concreto | Requisitos de “faça” e “não faça” | Critérios de risco, qualidade e custo aprovados pelo produto |
| Dados | 10 exemplos revisados | Casos reais anonimizados e exemplos de borda | Conjunto de desenvolvimento e conjunto oculto de validação |
| Avaliador | Regra binária simples | Regras em código mais revisão humana | Combinação de regras, estado final, LLM juiz calibrado e auditoria humana |
| Infraestrutura | Execução local repetível | Experimentos registrados por versão | CI, rastreamento em produção e ambientes isolados para ações |
| Conhecimento prévio | Fluxo atual do agente | Noções de testes e observabilidade | Equipe com produto, engenharia, segurança e operação |
Passo 1: escreva uma especificação que possa ser reprovada
A unidade de trabalho não é “melhorar o agente inteiro”. Escolha uma capacidade com fronteiras claras: responder dúvidas sobre políticas internas, abrir um chamado, classificar um documento ou pedir mais contexto. Depois registre três elementos: o gatilho, a ação esperada e as proibições.
A LangChain ilustra isso com um agente de documentação interna que também pode abrir chamados de TI. “Meu notebook não conecta à VPN” é uma solicitação de ação; “como conectar à VPN?” é uma dúvida que deve continuar sendo atendida pela busca na documentação. A diferença parece pequena para uma pessoa, mas é justamente onde descrições de ferramenta amplas demais costumam gerar ações indevidas.
# Exemplo conceitual de especificação — não é uma API da LangChain
Comportamento: encaminhar incidentes de TI
Quando: o usuário relata uma falha que exige intervenção
Faça: abra ou encaminhe um chamado com os dados mínimos
Não faça: abra chamado para uma dúvida de instruções já respondível pela base
Preserve: consultas informativas devem continuar usando a busca documentalO motivo de escrever antes é evitar que a equipe adapte a regra ao comportamento que acabou de observar. A especificação deve ser suficientemente objetiva para resultar em aprovação ou reprovação. “Responder de forma útil” é vago; “não abrir chamado para perguntas de procedimento e citar a fonte consultada” pode virar uma avaliação verificável.

Passo 2: construa um conjunto de avaliação que pareça produção
Um conjunto de dados de avaliação é uma coleção de exemplos. A LangChain recomenda aproveitar execuções reais quando elas existirem, pois usuários escrevem pedidos e combinam restrições de formas que uma equipe raramente antecipa. Os exemplos precisam ser anonimizados e tratados de acordo com a política de dados da organização; tráfego real não deve ser copiado para uma base de testes sem controle de privacidade.
Comece com casos que representam o fluxo normal e inclua casos que não podem mudar. Para o agente de TI, entram pedidos legítimos de chamado e perguntas que deveriam continuar indo para a documentação. Também valem reformulações, mensagens frustradas e pedidos ambíguos. A fonte ressalta que uma LLM pode ajudar a reescrever exemplos para criar variações, mas a regra de correção continua sendo responsabilidade da equipe.

Passo 3: escolha o avaliador adequado à evidência
Nem todo resultado deve ser avaliado por outro modelo. Quando existe um estado objetivo, a primeira opção deve ser uma regra em código. A escolha da ferramenta certa, a presença de um campo obrigatório, a validação de um arquivo ou o resultado de uma ação em sandbox são exemplos verificáveis sem interpretação. Essa abordagem reduz custo e torna a falha mais auditável.
Para respostas abertas, pode ser necessário um avaliador por LLM ou uma revisão humana estruturada. Nesse caso, a LangChain recomenda perguntas estreitas e critérios binários ou pouco ambíguos, em vez de uma nota vaga de 1 a 10. Antes de confiar em um LLM juiz, compare sua decisão a avaliações humanas em uma amostra representativa. Se os dois divergem de forma sistemática, a automação está introduzindo uma nova fonte de erro.

Passo 4: estabeleça a linha de base e compare experimentos
Antes de alterar o agente, rode o conjunto atual e guarde os resultados. Cada mudança — uma descrição de ferramenta, um modelo, uma política de recuperação, uma memória ou um prompt — deve gerar um experimento comparável. Sem a linha de base, uma demonstração isolada não diz se a versão nova melhorou ou apenas acertou uma pergunta conveniente.
O cuidado decisivo é olhar caso a caso, não só a média. No exemplo da LangChain, a nova ferramenta de chamados faz os casos de incidente passarem, mas passa a abrir chamado para a pergunta “Como conecto à VPN?”. A média sobe e, ainda assim, uma capacidade útil foi perdida. Ao consultar o rastreio da execução, a equipe identifica uma descrição de ferramenta excessivamente ampla e a restringe para pedidos que exigem ação de TI.


Como evitar o sobreajuste ao conjunto de testes
Um placar de 100% pode ser uma boa notícia ou um alerta. Se a equipe altera o agente muitas vezes vendo sempre os mesmos exemplos, ela pode otimizar para aquelas frases específicas, não para o comportamento desejado. A orientação prática é separar um conjunto usado na iteração de outro, mantido oculto até a validação. Se o resultado melhora no primeiro e permanece estável no segundo, há indício de sobreajuste.
Também é importante vincular cada avaliação a uma mudança real: uma falha corrigida, um recurso novo ou uma regra de segurança. Isso impede que a suíte cresça como uma coleção de métricas sem propósito e torna mais fácil remover testes obsoletos de forma deliberada, com revisão de risco.
Produção: a avaliação não termina no pull request
Antes do lançamento, a base de testes contém principalmente o que a equipe imaginou. Em produção surgem novas expressões, combinações de ferramentas e casos extremos. Por isso, o ciclo precisa de rastreamento de execuções, amostragem proporcional ao custo, sinalização de casos suspeitos e revisão humana. Falhas confirmadas devem virar novos exemplos e novas condições de aprovação.
Para agentes que modificam um ambiente — por exemplo, um agente de código em sandbox — a resposta final e duas chamadas de ferramenta não são evidência suficiente. É preciso avaliar o estado final, com um ambiente limpo por execução, para que uma tentativa não contamine a seguinte. A fonte cita o Harbor como um framework aberto para executar tarefas nesse modelo, com sandbox e script de teste para avaliar o resultado final.

Casos de uso práticos
- Atendimento interno: verificar se o agente encaminha incidentes e não cria solicitações desnecessárias.
- RAG corporativo: medir se respostas citam a base correta, admitem ausência de evidência e evitam inventar políticas.
- Agentes de código: testar o estado do repositório, os testes executados e a ausência de alterações fora do escopo.
- Automação financeira ou operacional: exigir confirmação antes de ações irreversíveis e testar limites de autorização.
- Assistentes de vendas: conferir se qualificam a demanda, não prometem integrações inexistentes e encaminham exceções para pessoas.
Troubleshooting: cinco falhas recorrentes
- ❌ A média melhorou, mas usuários reclamaram. Causa: regressões ocultas por uma média agregada. Solução: compare os exemplos individualmente e mantenha casos de preservação explícitos.
- ❌ A avaliação passa, mas o agente falha com pedidos reais. Causa: exemplos artificiais demais. Solução: acrescente execuções reais anonimizadas e variações de linguagem.
- ❌ O LLM juiz aprova respostas erradas. Causa: critério amplo ou juiz não calibrado. Solução: reduza a pergunta, use pass/fail e compare com notas humanas.
- ❌ A equipe não sabe por que uma execução reprovou. Causa: ausência de rastreamento. Solução: registre entradas, chamadas de modelo, ferramentas, saídas e versão do agente.
- ❌ Uma alteração passa no desenvolvimento e quebra produção. Causa: suíte sem casos novos e sem observabilidade pós-lançamento. Solução: amostre tráfego, revise sinalizações e promova falhas confirmadas a exemplos permanentes.
Análise do NoticIA: avaliações são o contrato operacional do agente
Na análise do NoticIA, o valor do EDD não está em substituir a avaliação humana por um placar, mas em tornar as decisões de produto contestáveis e repetíveis. Um agente que pode consultar dados internos ou disparar uma ferramenta não deve ser aprovado porque uma demo foi convincente. Ele precisa de um contrato operacional: comportamentos permitidos, limites, evidências e uma forma de detectar quando uma versão nova trocou uma falha por outra.
Para equipes brasileiras que estão saindo de protótipos de chat para fluxos com impacto operacional, o caminho mais seguro é começar por uma ação de risco delimitada. Construa 10 a 20 casos, estabeleça um verificador simples, registre a linha de base e só então automatize avaliações mais subjetivas. A disciplina é mais importante que a plataforma escolhida.
Perguntas frequentes
EDD exige usar LangChain ou LangSmith?
Não. A metodologia descreve um ciclo de especificação, exemplos, avaliação e comparação. A LangChain apresenta suas ferramentas como implementação desse fluxo, mas os princípios podem ser aplicados a outros frameworks.
Qual é o menor conjunto de casos útil?
Não há número universal. Comece com exemplos suficientes para cobrir o comportamento novo, os caminhos que não podem regredir e os casos de borda mais prováveis; depois amplie com falhas reais.
Um LLM pode ser o único avaliador?
Não é recomendável para critérios objetivos. Quando uma regra em código ou um teste de estado final é possível, ela tende a ser mais auditável. Um LLM juiz precisa de calibração humana.
Como saber se houve sobreajuste?
Mantenha um conjunto de validação que não seja usado durante os ajustes. Se a nota sobe apenas no conjunto conhecido, o agente pode estar se adaptando aos exemplos em vez do comportamento.
Devo rodar todas as avaliações em cada alteração?
Use divisões de dados: um subconjunto rápido para a capacidade em desenvolvimento, a suíte completa antes de publicar e avaliações mais lentas em rotinas programadas ou antes de uma versão crítica.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.

1 comentário