O tokenmaxxing — a obsessão por consumir o máximo de tokens possível — é a nova métrica tóxica do Vale do Silício. Engenheiros estão sendo avaliados por quanta IA consomem, como se fosse uma versão 2026 da métrica de linhas de código. Mas mais tokens não significam melhores resultados. Pelo contrário: custos disparam, a latência aumenta e a qualidade pode até piorar com o “apodrecimento de contexto” (context rot).
O que é Tokenminning
Sam Black, head de IA de uma startup de biotech, propõe o tokenminning como antídoto ao tokenmaxxing. A ideia é simples: minimizar sistematicamente o uso de tokens mantendo (ou até melhorando) o desempenho dos agentes de IA. E ele mostra com números reais: seus chats interativos consomem ~2.100 tokens por sessão, enquanto seus agentes disparam para ~61.000 tokens por invocação — uma diferença de 28x. Sem otimização, o custo diário com Claude Opus 4 seria de cerca de US$ 40/dia. Com as estratégias de tokenminning, o gasto cai drasticamente.
Estratégia #1: Roteamento inteligente
A primeira tática é a mais impactante: nem todo prompt precisa de um modelo frontier. Tarefas simples como sumarização, classificação e tool calling podem ser resolvidas por modelos menores e mais baratos — ou até por um modelo local quantizado.
O autor implementou um LLM Gateway próprio (um webservice leve compatível com a API da OpenAI/Anthropic) que intercepta cada prompt e decide qual modelo usar com base em dois fatores: intenção (Open QA, classificação, geração de código, sumarização etc.) e complexidade (score de 0 a 1).
Para classificar os prompts, ele treinou um modelo baseado na arquitetura DeBERTa com duas cabeças (classificação + regressão), usando mais de 10.000 prompts rotulados com 4 níveis de modelos. O resultado: redução de mais de 60% nos custos de API apenas com roteamento.
A tabela de roteamento considera o tipo de tarefa e a complexidade — por exemplo, geração de código sempre vai para modelos premium, enquanto sumarização pode ser delegada ao modelo local.
Estratégia #2: Compactação de contexto
Janelas de contexto massivas (256K ou 1M tokens) são impressionantes, mas caras. Um contexto de 256K tokens comporta os dois primeiros livros de Harry Potter; 1M de tokens cabem toda a trilogia do Senhor dos Anéis mais O Hobbit.
A compactação de contexto é uma técnica simples: quando o agente se aproxima de um limite pré-definido, um passo de sumarização é executado com um modelo de ordem inferior, destilando as informações essenciais. O prompt de compactação força o agente a estruturar o resumo em seções como “descobertas principais”, “decisões tomadas” e “próximos passos”.
O trade-off: é inerentemente lossy — você perde informação, o que aumenta o risco de alucinações. Mas com um bom tuning para recall, o ganho em eficiência compensa.
Por que isso importa
O tokenminning não é só sobre economizar dinheiro. É sobre transformar o uso de IA em uma disciplina de engenharia. Com engenheiros gastando US$ 10.000 por semana em algumas empresas, e big techs começando a impor limites de uso, times que otimizam para resultados — não para volume de tokens — terão vantagem competitiva real.
As duas estratégias apresentadas (roteamento + compactação) podem ser implementadas sem grandes refatorações e produzem resultados imediatos. O próximo passo, segundo o autor, será explorar técnicas mais avançadas como memória episódica estruturada para agentes.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
