Jev: o modelo System One que promete decisões calibradas em vez de texto generativo

Jev promete um tipo novo de modelo: decisões calibradas em vez de texto generativo

A TypeSafe.AI lançou o Jev, que a empresa descreve como o primeiro modelo de um tipo diferente — um “System One model” —, fundamentalmente distinto dos LLMs que dominaram os últimos anos. Em vez de prever o próximo token e gerar texto longo, o Jev avalia um estado e produz respostas estruturadas acompanhadas de probabilidades calibradas.

O que separa um System One de um LLM

LLMs são treinados para prever o próximo token e, na fase de pós-treinamento, costumam passar por RLHF (Reinforcement Learning from Human Feedback). O efeito colateral conhecido é a combinação de bajulação e alucinações confiantes. Para tarefas de decisão, a TypeSafe propõe outro caminho: o RLCD (Reinforcement Learning for Calibrated Decisions), que treina o modelo a devolver decisão e probabilidade juntas.

A entrada do Jev é um estado — pode ser uma mensagem simples, um JSON ou uma lista de mensagens — e as perguntas são respondidas por meio de “primitivas”:

• Choice: quando a resposta é uma entre opções predefinidas (ex.: qual a categoria desta solicitação — entrega, cobrança ou acesso à conta?).
• Score: quando a resposta vem de um conjunto ordenado (ex.: sentimento negativo, neutro ou positivo).
• Noul: para perguntas de sim/não.

Em todos os casos, o modelo devolve não só a resposta, mas também probabilidades para todos os valores possíveis — o que permite rotear decisões: se a confiança é alta, responde automaticamente; se é baixa, encaminha para um humano.

As alegações, postas à prova

A TypeSafe afirma que o Jev é 193,6x mais rápido, 444,6x mais barato e menos propenso a alucinações. Um teste prático usando o dataset público banking77 (77 intenções bancárias) comparou o Jev com os modelos OpenAI Terra e Luna.

Os resultados revelam um quadro mais matizado do que o marketing sugere. Em acurácia, o Jev ficou atrás: 79,0%, contra 83,9% do Terra e 86,2% do Luna — diferença estatisticamente significativa. O Jev também consumiu muito mais tokens (cerca de 2x mais de entrada e 40x mais de saída), porque devolve probabilidades para as 77 classes. Por outro lado, foi quase 2x mais rápido na prática. E o ponto forte é a calibração: a acurácia cresce de forma consistente conforme o nível de confiança sobe.

Uma pista relevante: ao reduzir a tarefa de 77 para 7 rótulos, o Jev praticamente empatou com os modelos OpenAI — sugerindo que o grande número de classes era o principal fator de degradação.

Para que serve na prática

O direcionamento mais promissor não é substituir LLMs, mas combinar os dois: usar um modelo rápido e barato como o Jev para os casos fáceis (classificação de comentários, avaliação de LLM-as-a-judge, intenção de suporte) e rotear os casos incertos para modelos de fronteira. É um padrão de roteamento com potencial direto para reduzir custo em pipelines de produção.

O próprio autor pondera: os números de 100x+ mais barato e rápido são plausíveis para fluxos com muitas decisões pequenas e repetidas, mas os ganhos reais variam muito por caso de uso. A recomendação é testar na própria tarefa antes de assumir que os números de benchmark se transferem diretamente.