Modelos de contexto longo vs curto: quando realmente vale a pena pagar o custo extra?

A cada nova geração de modelos, os laboratórios de IA anunciam janelas de contexto maiores — 512, 2.048, 8.192, 128 mil, 1 milhão de tokens. A promessa é sedutora: “dê mais texto ao modelo e ele entenderá mais”. Mas Chien Vu Minh, em um estudo publicado no Towards Data Science, faz a pergunta que ninguém quer responder: quanto esse contexto extra realmente ajuda, e em quais tipos de tarefa?

O autor conduziu experimentos controlados com um modelo de 32 milhões de parâmetros — o tipo de modelo que você realmente usaria em produção por ser barato e rápido em escala. Em todos os testes, o comprimento do contexto foi a única variável alterada.

O custo quadrático que ninguém te conta

A atenção dos transformers escala com o quadrado do comprimento da sequência — O(n²). Passar de 512 para 8.192 tokens significa 16× mais entrada, mas aproximadamente 256× mais computação. Nos experimentos, isso se traduziu em um aumento de 22× no tempo de treinamento em uma tarefa binária de patentes (35s → 771s) e 30× em uma tarefa de classificação com 9 categorias (93s → 2.769s).

A pergunta de engenharia que o estudo busca responder é precisa: você tem um documento longo e uma tarefa fixa. Vale a pena pagar o custo quadrático de uma janela de 8.192 tokens, ou uma passada barata de 512 tokens — ou um simples truque de chunking — chega perto o suficiente por uma fração do preço?

Não é sobre o tamanho do documento — é sobre onde está o sinal

A intuição comum está errada: o que importa não é o comprimento do documento, mas onde a informação útil está localizada. Uma patente de 5.000 tokens cuja categoria é decidida pelo título, resumo e primeira reivindicação? Uma janela de 512 tokens já vê tudo que importa. Estender até o token 4.000 não adiciona nada.

Mas se a resposta exige informações espalhadas por todo o documento, ou que só aparecem depois do token 512, é aí que uma janela mais longa realmente compensa seu custo.

Encoder vs Embedding: duas famílias, mesma tendência

O estudo identifica duas famílias de modelos afetadas pela tendência de contextos longos: encoders (BERT, ModernBERT), que transformam texto em representações numéricas por token, e modelos de embedding (sentence-transformers, GTE/E5), que comprimem passagens inteiras em vetores fixos para busca semântica e RAG.

Ambos saíram de 512 para 8.192 tokens em poucos anos. Mas “suportar 8.192 tokens” é uma especificação de engenharia, não uma garantia de performance. Um modelo pode tecnicamente aceitar 8.192 tokens e ainda produzir a mesma saída que produziria apenas com os primeiros 512.

A decisão prática

O artigo oferece um framework de decisão claro: sete pontos percentuais de acurácia a mais? Pague o custo. Uma fração de ponto que oscila entre seeds aleatórias? Você está queimando dinheiro. A chave está em entender a estrutura do seu dado — onde o sinal realmente vive — antes de decidir qual janela de contexto usar.

Para quem trabalha com RAG, classificação de documentos ou busca semântica em produção, o estudo é um lembrete valioso de que mais tokens nem sempre significam melhores resultados — e quase sempre significam custos muito maiores.