Jev, o modelo System One que avalia agentes de IA com 100% de acerto e custo quase zero

Por que isso importa agora

Avaliar se um agente de IA fez um bom trabalho é um dos problemas mais caros — e menos resolvidos — da engenharia de agentes. Hoje, os times têm duas opções: avaliadores baseados em código, que são baratos e confiáveis, mas só funcionam para casos muito restritos, e os chamados LLM-as-judge, que usam um modelo de linguagem para julgar o comportamento do agente, mas que são lentos, caros e pouco consistentes.

A LangChain decidiu testar uma terceira via. Com o lançamento do Jev, um modelo da TypeSafe AI descrito como um “System One” — um tipo de modelo que não gera texto, apenas toma decisões estruturadas e rápidas —, a empresa quis saber se ele poderia servir como avaliador de agentes. Os resultados são promissores: nos testes, o Jev acertou 100% das decisões binárias, custou uma fração de centavo por chamada e foi centenas de vezes mais consistente que os juízes baseados em LLM.

O que é o Jev

O Jev não é um LLM tradicional. Ele não gera texto — em vez de produzir uma resposta token por token, ele avalia um estado e devolve respostas tipadas (como um número, uma escolha ou uma probabilidade) diretamente. A TypeSafe AI chama essa categoria de “System One models”: modelos construídos para tomar decisões rápidas e estruturadas que o software pode usar de imediato.

Segundo a empresa, essa arquitetura torna o Jev até 200 vezes mais rápido na inferência e 400 vezes mais barato do que LLMs comparáveis em tarefas de classificação. Para avaliação de agentes — que é, no fundo, uma tarefa de decisão sobre o comportamento de outro sistema — esse desenho faz sentido.

Por que avaliar agentes é tão difícil

A avaliação de agentes hoje se divide em duas abordagens, cada uma com trade-offs claros:

• Avaliador baseado em código: barato, rápido e determinístico, mas limitado. Funciona bem para checar, por exemplo, se um agente chamou determinada ferramenta na primeira rodada. Mas avaliar se o agente usou bem o resultado da ferramenta para responder o usuário — uma tarefa aberta, com várias respostas válidas — escapa da lógica determinística.
• LLM-as-judge: usa um LLM para raciocinar sobre o trace (histórico de ações) do agente e atribuir uma nota. É flexível, mas é não determinístico — uma base frágil para um aparato de testes confiável — além de lento e caro.

O Jev foi projetado justamente para o padrão da avaliação: dado o estado e o comportamento de um agente, atribuir uma pontuação. E, como responde de forma nativa e estruturada, evita a etapa de “gerar texto e depois mapear para uma nota” que os LLMs juízes precisam fazer.

O experimento da LangChain

Para testar o Jev, a equipe construiu um agente de clima usando o Deep Agents (o harness open source da LangChain) e definiu um conjunto de teste com cinco requisições de previsão do tempo. Cada avaliador rodou contra as mesmas cinco execuções capturadas, medindo dois sinais: qualidade (nota contínua) e does_pass (decisão binária de aprovação/reprovação).

Para separar corretude de repetibilidade, um revisor humano rotulou cada resposta com a mesma rubrica, servindo de “oráculo” para a comparação. O Jev foi comparado com GPT-5.6 Luna, GPT-5.6 Terra e Claude Sonnet 4.6, com 100 repetições por caso para medir a variância.

Resultados

Os números chamam atenção. Na decisão binária, o Jev bateu o oráculo humano nas 500 decisões repetidas, enquanto o Claude acertou 80%. Em consistência, a variância do Jev foi a menor observada — entre 92 e 913 vezes mais baixa que a dos LLMs. E em custo: US$ 0,00035 por chamada, contra US$ 28,17 gastos com o Claude no mesmo experimento, com latência média de 0,44 segundo.

O que isso significa na prática

Um avaliador barato e confiável muda a economia da avaliação de agentes. Um agente em produção pode gerar 10 mil traces por dia; com juízes caros, os times precisam escolher entre cobertura e orçamento. Com custo por chamada na casa dos milésimos de centavo, é viável rodar múltiplos juízes sobre uma parcela muito maior dos traces — gerando um sinal de feedback mais denso e detectando regressões de qualidade mais cedo.

Isso pode destravar o que a LangChain chama de avaliação online em escala: mais verificações, mais dimensões avaliadas e mais mudanças testadas, sem estourar o orçamento.

Limitações — e por que ainda é cedo

A própria LangChain é explícita sobre as ressalvas. O teste foi estreito: cinco requisições de clima, um único agente e um conjunto limitado de modelos de comparação. Ainda não se sabe se os resultados se mantêm em outros agentes e fluxos de produção. E há um alerta importante: custo baixo também amplifica erros — um avaliador consistentemente errado produziria feedback ruim em escala. Revisão humana e alinhamento de juízes continuam sendo necessários.

Os autores também destacam que o experimento é observacional: não prova que o objetivo de treinamento do Jev causou a menor variância, apenas que ele se saiu melhor nessa tarefa limitada.

O que esperar

Se a categoria “System One” se consolidar, a avaliação de agentes pode deixar de ser o gargalo caro do ciclo de desenvolvimento. Agentes mais testados, com ciclos de feedback mais curtos, tendem a ser mais confiáveis em produção — o que interessa diretamente a quem constrói assistentes, automações e fluxos de trabalho com IA. A LangChain fará uma live com o time da TypeSafe AI na terça-feira, 22 de setembro, para quem quiser acompanhar a evolução da ferramenta.