Kimi K3: a janela de 1 milhão de tokens substitui o RAG? Teste compara custo e qualidade

Quando o Kimi K3, da chinesa Moonshot AI, chegou em julho com uma janela de contexto de 1 milhão de tokens, muita gente se fez a mesma pergunta: dá para abandonar o RAG de vez?

A matemática é tentadora. Um acervo de 33 artigos de um autor somava 127.068 tokens — apenas 12% da janela. Em tese, bastaria despejar tudo no prompt, sem se preocupar com chunks, embeddings ou qualidade de recuperação. Mas “cabe” e “funciona melhor” são coisas diferentes. Foi exatamente isso que um experimento controlado, publicado no Towards Data Science, resolveu medir.

O experimento: um corpus, dois caminhos

O autor montou um teste com 12 perguntas em três níveis de dificuldade, respondidas duas vezes pelo mesmo modelo, com o mesmo prompt de sistema e a mesma instrução:

• Grupo A (fato único): a resposta está em um único trecho de um único artigo.
• Grupo B (entre artigos): a resposta exige cruzar duas ou três fontes ao mesmo tempo.
• Grupo C (corpus inteiro): a resposta exige que o modelo tenha visto tudo.

No caminho RAG, os artigos foram divididos em 788 chunks de 900 caracteres (com 150 de sobreposição), indexados com o modelo de embeddings all-MiniLM-L6-v2, e só os 5 chunks mais similares eram enviados — cerca de 1.200 tokens por pergunta. No caminho de contexto longo, os 32 artigos inteiros (127.346 tokens) acompanhavam cada pergunta.

Os resultados: o inesperado

O resultado mais surpreendente veio da avaliação às cegas, em três critérios (corretude, completude e fundamentação): o contexto longo tirou nota máxima nas 12 respostas, nos três grupos e nos três critérios.

O RAG, por sua vez, não inventou nada e quase não errou — mas falhou na completude. Veja o desempate por critério:

A lacuna ficou toda na completude: o RAG respondia de forma correta, mas frequentemente incompleta ou imprecisa demais. Curiosamente, nas perguntas que cobriam o corpus inteiro, o modelo com RAG admitiu honestamente que não tinha informação suficiente — graças à instrução explícita de “não adivinhar” — em vez de fabricar um número plausível.

Custo e latência: onde o contexto longo perde

Se na qualidade o contexto longo venceu, no bolso a história é outra. No experimento:

• Custo: contexto longo saiu 16 vezes mais caro (US$ 3,82 contra US$ 0,23 nas 12 perguntas).
• Latência: cerca de 3 vezes mais lento por pergunta, chegando a 273 segundos numa consulta de corpus inteiro.

O detalhe mais revelador: o tempo não vai para ler o contexto, e sim para pensar sobre ele. Por ser um modelo de raciocínio, o K3 gasta tokens de pensamento — e quanto maior o contexto, mais pensamento. Na pergunta em que o cache de prefixo funcionou por completo (127.232 dos 127.342 tokens vieram do cache), a consulta ainda foi a segunda mais lenta.

As pegadinhas que o experimento expôs

O percurso revelou três armadilhas práticas que não aparecem em nenhuma tabela de preços:

• Cota diária: o plano de entrada da Moonshot para o K3 tem cota de 1,5 milhão de tokens por dia. Só as 12 perguntas do contexto longo consumiram 1,53 milhão de tokens de entrada — a cota estoura “por princípio”, independentemente do dinheiro.
• Cache de prefixo imprevisível: o cache só funcionou em 3 das 8 chamadas (33%), sem padrão aparente — e uma chamada em cache custou US$ 0,0466 contra US$ 0,3916 sem cache. Quem planeja com o cenário otimista erra o custo em ~30%.
• Orçamento de pensamento: no primeiro run, 12 das 24 respostas vieram vazias porque o max_completion_tokens de 800 foi todo consumido pelo pensamento, não pela resposta. Em modelos de raciocínio, esse parâmetro é um teto de raciocínio, não de tamanho de resposta.

Quando usar cada abordagem

A conclusão prática do autor: para uma base de conhecimento do porte testado — poucas dezenas de documentos, consultada com pouca frequência — o contexto longo é suficiente e dispensa o RAG, com setup mínimo (algumas linhas de código, sem chunk size, sem embeddings, sem índice vetorial para manter).

A decisão muda de figura quando o volume de consultas cresce. Se as 12 perguntas virassem 12 mil, a diferença saltaria para algo como US$ 3.800 contra US$ 230. Nesse cenário, o RAG volta a ser a escolha óbvia. Em resumo: a variável que decide não é o preço por token, mas quantas consultas cada base de conhecimento receberá.

Para equipes brasileiras que avaliam arquiteturas de IA, a lição é dupla: modelos com janela gigante simplificam muito o primeiro protótipo, mas exigem atenção nova a cota, cache e custo de raciocínio — métricas que não se enxergam no prompt, mas aparecem na fatura.