Janela de 1 milhão de tokens no Kimi K3: ainda vale a pena usar RAG?

O experimento: 12 perguntas, dois caminhos, um único modelo

Quando o Kimi K3, da chinesa Moonshot AI, chegou em julho com uma janela de contexto de um milhão de tokens, muita gente se fez a mesma pergunta: dá para aposentar o RAG? Se todo o meu acervo cabe no prompt, por que construir chunks, calcular embeddings e afinar um buscador?

Um experimento independente publicado no Towards Data Science colocou essa hipótese à prova de forma honesta. O autor usou como corpus os próprios textos — 32 arquivos (na prática, 33 artigos) somando 127.068 tokens, cerca de 12% da janela. Fez 12 perguntas em três níveis de dificuldade e respondeu cada uma por dois caminhos: um RAG clássico (788 chunks, cinco trechos recuperados por vez) e um contexto longo (o corpus inteiro no prompt).

O diferencial metodológico foi a avaliação cega: as respostas foram embaralhadas em uma planilha como “X” e “Y”, sem indicar qual caminho produziu cada uma.

O resultado que surpreendeu

O contexto longo respondeu as 12 perguntas de forma completa, tirando nota máxima nos três critérios (correção, fundamentação e completude). O RAG, por outro lado, não inventou nada e quase não errou — mas falhou em completude, com média de 0,83 em 2,0.

Em perguntas que exigiam a visão do corpus inteiro, a diferença ficou nítida. Ao perguntar quantos artigos linkavam para um repositório GitHub, o RAG respondeu que nenhum trecho continha link — a resposta correta era 13. O contexto longo acertou na hora.

Mas a vitória tem preço. O contexto longo custou 16 vezes mais e levou o triplo do tempo por pergunta (média de 111 segundos, chegando a 170 nas mais difíceis). Em escala — 12 mil perguntas — a diferença salta de US$ 3,82 para algo em torno de US$ 3.800 contra US$ 230 do RAG.

Os três erros que ensinaram mais que o resultado

A parte mais valiosa do artigo não é o placar, e sim o que deu errado no caminho:

• Metade das respostas voltou vazia. O Kimi K3 é um modelo de raciocínio, e os tokens de pensamento contam no mesmo limite do texto visível. Com max_completion_tokens em 800, o modelo gastou tudo “pensando” e não sobrou nada para responder — sem nenhum erro aparente no terminal. A lição: registrar finish_reason é obrigatório.
• A mesma chamada falhou e depois funcionou. Repetida de forma idêntica, uma pergunta que consumiu 3.997 tokens de raciocínio e devolveu nada funcionou na segunda tentativa com 884 tokens. Como o K3 trava a temperatura em 1, cada número do experimento é uma observação, não uma medição repetível.
• O cache de prefixo não é confiável. Ele só acionou em 3 de 8 chamadas, sem padrão aparente, e expirou por completo após cinco dias. Uma chamada com cache custou US$ 0,0466; sem ele, US$ 0,3916 — oito vezes mais.

Quando cada abordagem faz sentido

Para bases pequenas consultadas com pouca frequência, o contexto longo é a escolha mais simples: menos código, nenhum parâmetro de chunking para afinar, respostas completas. Mas, para aplicações interativas e bases que crescem, o RAG continua imbatível em custo e latência. A decisão, conclui o autor, não depende do preço por token — depende de quantas consultas cada base vai receber.

E há uma recomendação que vale para qualquer um que coloque RAG em produção: a instrução de sistema que manda o modelo admitir quando não tem a resposta — em vez de chutar — foi o que manteve os erros do RAG inofensivos neste teste.