Como a LangChain avalia agentes de IA profundos: benchmarks, sandboxes e o framework Harbor

Por que avaliar agentes é difícil

Construir agentes de IA é complexo, mas avaliá-los é ainda mais desafiador. A LangChain, criadora do framework open source Deep Agents, enfrenta essa questão diariamente: como saber se uma mudança no prompt, nas ferramentas ou no middleware realmente melhorou o agente — ou o piorou silenciosamente?

Em julho de 2026, a empresa revelou sua nova abordagem de avaliação, migrando de testes unitários simples para benchmarks de ponta a ponta que simulam tarefas reais que um agente executaria em produção.

Harbor como executor de avaliações

A LangChain adotou o Harbor, um framework open source conhecido por alimentar o Terminal Bench (um dos principais benchmarks de código). Para usar o Harbor, são necessários três componentes:

• O agente: neste caso, o Deep Agents da LangChain
• O dataset: um conjunto de tarefas com ambiente, instruções e script de avaliação
• O sandbox: ambientes isolados rodando localmente ou nos LangSmith Sandboxes

Cada tarefa no dataset inclui um ambiente Docker (Dockerfile ou Docker Compose), instruções em Markdown e um script de verificação (test.sh). A diferença fundamental em relação a avaliações tradicionais de LLMs é que o ambiente importa — agentes não são apenas chamadas de API, eles modificam arquivos e estado.

Três benchmarks, três tipos de trabalho

O pipeline atual da LangChain roda três benchmarks distintos:

• Harbor-Index: 82 tarefas destiladas de mais de 6.000 candidatas em 54 benchmarks. Cobre engenharia de software, busca, análise de dados e uso de ferramentas de longo horizonte. Focado em trabalho autônomo de ponta a ponta.
• 𝜏³-bench: 30 tarefas de conversa multi-turno, onde um usuário simulado interage com o agente e a pontuação verifica resultados reais.
• ContextBench: 30 tarefas calibradas de recuperação de informação, com o corpus completo dentro do sandbox — o agente precisa encontrar e combinar as respostas sozinho.

O que funciona na prática

A LangChain compartilhou algumas práticas que adotou:

• Rodar cada tarefa múltiplas vezes: agentes são inerentemente não determinísticos. Uma única execução não é suficiente para uma estimativa calibrada.
• Manter um benchmark “lite”: um subconjunto congelado das tarefas mais difíceis-porém-solucionáveis para iterar rapidamente durante o desenvolvimento.

Esta abordagem reflete uma tendência mais ampla na indústria: à medida que agentes executam tarefas cada vez mais longas e complexas, as métricas de avaliação precisam evoluir de “o modelo acertou a resposta?” para “o agente entregou o resultado esperado no ambiente real?”.