Jev chega ao LangSmith: modelo de “Sistema 1” avalia agentes até 450x mais barato

Um novo tipo de modelo chegou à avaliação de agentes

Há três caminhos consolidados para avaliar agentes de IA. Os avaliadores baseados em código verificam condições determinísticas — se o agente chamou a ferramenta certa, se o campo está presente, se o formato bate. São rápidos e confiáveis, mas só cobrem o comportamento que você consegue especificar antes da execução. Como agentes são não determinísticos, um agente que resolve o mesmo problema de três maneiras válidas falha num teste que só espera uma delas.

Os avaliadores LLM-como-juiz preenchem essa lacuna: você entrega o rastro do agente a um modelo de linguagem com instruções e uma rubrica, e ele raciocina em texto livre antes de dar o veredito. A flexibilidade, porém, tem custo — são mais lentos, mais caros e não determinísticos, e a etapa que converte texto livre em saída estruturada é, ela própria, uma fonte de erro.

Agora surge uma terceira via. O Jev, modelo da TypeSafe AI, foi disponibilizado como juiz nas avaliações do LangSmith, plataforma de observabilidade da LangChain. Ele não é um LLM tradicional e não gera texto. A TypeSafe o classifica como um modelo de Sistema 1: uma classe de modelos construída para tomar decisões rápidas e estruturadas que o software consome diretamente.

O que o Jev faz de diferente

Um modelo de Sistema 1 avalia um estado — que pode ser o rastro de um agente, uma única mensagem ou qualquer contexto — e devolve respostas tipadas com probabilidades, em vez de um bloco de texto gerado que depois precisa ser convertido. O Jev responde a três tipos de pergunta: noul (probabilidade de sim/não), choice (escolhe uma opção de um conjunto) e score (avalia numa escala ordenada).

Segundo a TypeSafe, o Jev é até ~450x mais barato e ~200x mais rápido que LLMs comparáveis em tarefas de classificação, e avalia múltiplas perguntas sobre o mesmo estado em paralelo. Na prática, isso muda o cálculo econômico das avaliações: em vez de pontuar uma amostra dos rastros, dá para pontuar todos eles; em vez de limitar critérios por custo, dá para checar mais critérios por rastro.

Os números do teste independente

A LangChain colocou o Jev à prova num benchmark próprio, comparando-o com GPT-5.6 Luna, GPT-5.6 Terra e Claude Sonnet 4.6 em acurácia, consistência, velocidade e custo. O resultado: o Jev igualou um revisor humano em todas as decisões, com 92 a 913x menos variância que os juízes LLM. A média foi de 0,44 segundo por chamada, contra 2,16 a 2,83 segundos dos concorrentes. E o custo: US$ 0,00035 por chamada — a rodada completa de julgamentos saiu por US$ 0,34 com o Jev, contra US$ 0,39 com o GPT-5.6 Luna, US$ 2,90 com o GPT-5.6 Terra e US$ 28,17 com o Claude Sonnet 4.6.

Nada disso torna os juízes LLM obsoletos. Para critérios abertos em que você quer raciocínio escrito junto do veredito, um LLM ainda é a ferramenta certa. O Jev brilha quando a decisão é estreita, tipada e tomada em volume — exatamente o caso de checagens de segurança como vazamento de PII, injeção de prompt ou toxicidade, em que um alerta precisa disparar no menor intervalo possível.

Por que isso importa agora

O gargalo da construção de agentes não é mais escrever o agente — é avaliá-lo com frequência suficiente. Cada avaliação carrega um trade-off: pontuar mais execuções, checar mais critérios ou testar mais mudanças, e o custo cresce proporcionalmente. Times acabam rodando menos avaliações para controlar o orçamento, o que desacelera o ciclo de feedback do qual a qualidade do agente depende. Um juiz na faixa de frações de centavo por chamada remove esse trade-off — e aproxima a avaliação contínua da realidade de quem mantém agentes em produção.

Como usar

A configuração segue o mesmo fluxo de um avaliador LLM-como-juiz no LangSmith, com uma diferença central: em vez de um prompt com critérios, você define um estado e um conjunto de perguntas tipadas. Basta adicionar a chave de API da TypeSafe em Provider secrets, criar um avaliador do tipo LLM-as-a-Judge, selecionar TypeSafe como provedor e o modelo jev-latest, mapear as variáveis do estado e adicionar uma pergunta por critério — cada uma vira uma feedback key que pode ser filtrada, graficada ou ligada a alertas e automações.

Um aviso prático: a TypeSafe ainda não oferece retenção zero de dados, então prompts e saídas enviados para avaliação podem ser retidos pelo provedor.

O Jev-como-juiz está disponível hoje no LangSmith. Para ver como ele se encaixa além das avaliações — roteamento de modelos e bloqueio de risco de ferramentas — a LangChain publicou um guia complementar sobre a construção de um harness com Jev.