Roteamento de modelos vira prioridade: custo dos LLMs e a ascensão do open-source

O custo explodiu — e isso mudou a conversa

Com a competição intensa entre as empresas de modelos de fronteira e o poder crescente dos modelos de pesos abertos (como Kimi K3 e Qwen3.8-Max), o roteamento de modelos se tornou uma peça central da implantação de IA. O sinal mais recente desse movimento é a compra da OpenRouter pela Stripe por mais de US$ 7 bilhões — mas a tendência é igualmente forte dentro das empresas.

Quem tem observado esse movimento de perto é Arvind Jain, ex-engenheiro distinto do Google e cofundador e CEO da Glean. Em entrevista ao Latent Space, ele detalhou como o roteamento de modelos funciona na prática e por que a demanda explodiu nos últimos meses.

O que a Glean faz (e o que o roteamento significa)

A Glean, avaliada em US$ 7,2 bilhões após uma Série F de US$ 150 milhões no ano passado, atingiu US$ 300 milhões de receita recorrente anual (ARR) — um crescimento de três vezes em 15 meses. Parte central da missão da empresa é escolher qual modelo usar para cada tarefa — ou, em alguns casos, se um LLM é necessário de fato.

“Um grande objetivo da Glean é evitar usar LLMs para tarefas em que não precisamos deles”, disse Jain. “Às vezes você vê consultas na Glean em que as pessoas estão somando dois números ou multiplicando dois números. Elas poderiam ter usado uma calculadora.”

Na prática, a Glean oferece três níveis de seleção de modelo: o funcionário pode escolher explicitamente; o administrador pode restringir modelos ou impor limites de uso; e o modo automático seleciona um modelo dinamicamente para cada tarefa. É esse modo automático que a maioria dos clientes escolhe — por razões econômicas.

“Por que as pessoas estão falando sobre roteamento de modelos? Por que estão empolgadas? É principalmente por causa de custo”, afirmou Jain.

Números que explicam a urgência

Tony Gentilcore, cofundador e líder de engenharia da Glean, afirmou recentemente que a Glean é “4x mais econômica” que o Claude Code, com uma média de US$ 0,45 por tarefa contra US$ 1,84 do Claude Cowork. Ele atribui essa diferença às capacidades de “harness e roteamento” da plataforma.

Jain explica o mecanismo por trás da pressão de custo: “Os modelos de IA estão ficando caros. Se você olhar para o Opus ou para os modelos mais recentes da GPT — eles não são apenas muito poderosos, podem executar tarefas muito mais complexas. Mas por token, são mais caros, às vezes o dobro ou o quádruplo das taxas anteriores. E os usuários os usam para tarefas muito mais longas. Então você está gastando 10, 20 vezes mais por usuário do que no ano passado.”

O modelo Waldo e a “matéria-prima” sem gastar tokens

Parte da arquitetura da Glean é o Waldo, apresentado em abril como o “primeiro modelo de busca agêntica” da empresa. Ele fica “por cima” dos LLMs e decide como quebrar a pergunta, quais ferramentas usar, o que ler em seguida e quando há evidência suficiente para entregar a um modelo de fronteira uma resposta de alta qualidade.

A Glean afirma que o Waldo “reduz a latência em 50% e os tokens em 25%, reservando modelos avançados para o trabalho que precisa deles”. A lógica é montar a “matéria-prima” necessária para a tarefa sem queimar tokens de LLM — e um corolário importante: um modelo mais barato com melhor contexto pode superar um modelo de fronteira carregado de dados irrelevantes.

Open-source deixa de ser tabu

Jain confirma que há agora um interesse significativo das empresas por modelos de pesos abertos, principalmente por causa de custo. Mas isso só aconteceu nos últimos meses. “No ano passado, o uso de LLMs open source era minúsculo e ninguém considerava seriamente open source”, disse. Parte disso era o “estigma” de muitos desses modelos serem desenvolvidos fora dos Estados Unidos.

“Nos últimos três meses, como a IA ficou tão cara, as empresas começaram a achar insustentável manter esses investimentos”, explicou. “Como o open source é uma ordem de grandeza mais barato para executar tarefas, isso criou muito interesse. Hoje, na maioria das empresas, os modelos open source são considerados parte central da estratégia de IA.”

E há uma mudança estrutural: “Ninguém está mais disposto a depender de um único provedor de modelo, ou de dois, e ninguém acha que pode sobreviver sem open source.”

Evals e o ciclo de melhoria contínua

A Glean mantém sistemas internos de teste que comparam cargas de trabalho reais com alternativas — deixando o modelo escolher uma rota e, em paralelo, executando a mesma tarefa com modelos “um pouco mais baratos e um pouco mais caros”. Em seguida, “juízes baseados em IA” avaliam o quão certeiro foi o roteador. Esse aprendizado contínuo é alimentado por uma pequena fração do tráfego real — que, na escala da Glean, é mais que suficiente.

Com clientes como Zillow (80% de adoção entre 7.000 funcionários) e Booking.com (primeira plataforma de IA adotada em toda a empresa), a Glean tem uma visão privilegiada de como a IA é usada de fato no dia a dia corporativo. Para o leitor brasileiro, o recado é direto: o custo por tarefa deixou de ser detalhe técnico e virou a decisão estratégica central da IA empresarial.