RAG Sempre Foi um Quebra-Galho Temporário: O Que Vem Depois?

RAG sempre foi um quebra-galho. O que vem depois?

O RAG (Retrieval-Augmented Generation) se tornou a arquitetura padrão para dar “memória” aos modelos de linguagem nos últimos dois anos. Vector databases, embeddings, rerankers, chunking — um ecossistema inteiro foi construído em torno de uma ideia simples: buscar documentos relevantes e anexá-los ao prompt. Funciona. Mas um artigo provocativo publicado no Towards Data Science argumenta que o RAG nunca foi um sistema de memória de verdade — foi sempre um quebra-galho temporário.

O “telefone sem fio” de sete etapas

O autor Anubhab Banerjee descreve o pipeline do RAG com uma honestidade rara. Em resumo: um modelo gera estados ocultos (hidden states) riquíssimos durante o processamento. Esses estados são comprimidos em texto, re-codificados por outra rede neural (embedding model), armazenados como vetor, comparados com outros vetores, e finalmente entregues a um terceiro modelo que reconstrói estados ocultos a partir dos caracteres recuperados.

O fluxo completo: Hidden State → Generate Text → Embed Text → Store Vector → Retrieve Vector → Append Text → Recompute Hidden State

De sete estágios, apenas dois são nativos da rede neural. Os outros cinco existem porque ainda não conseguimos persistir o estado neural diretamente. Construímos uma indústria inteira — vector databases, modelos de embedding, rerankers, heurísticas de chunking — para contornar uma limitação fundamental.

“Isso não é uma crítica aos engenheiros que construíram essas soluções”, escreve Banerjee. “Dadas as primitivas disponíveis, o RAG era a solução certa. Mas precisamos ser honestos sobre o que ele é: uma camada de tradução de alto overhead, não um sistema de memória.”

A ilusão da janela de contexto gigante

Uma objeção comum é: “janelas de contexto de 2 milhões de tokens resolvem isso — é só jogar tudo lá dentro”. Banerjee discorda. Contextos maiores resolvem capacidade, mas não resolvem portabilidade nem persistência.

Pense em um agente autônomo passando uma tarefa para outro. Ou um drone transferindo estado entre clusters de computação. Ou um pipeline multi-agente onde o router, o tool caller, o filtro de segurança e o finalizador rodam em máquinas diferentes.

Em todos esses cenários, transferir um prompt de 2 milhões de tokens é proibitivo em custo de banda. E o receptor ainda precisa reler a transcrição inteira — um prefill completo sobre cada token — para reconstruir qualquer vestígio do estado de raciocínio do emissor. “Um contexto maior é um livro melhor. Não é uma forma de teletransportar seu último pensamento.”

A realidade do engenheiro de sistemas: latência

O artigo apresenta uma tabela de latência que expõe o custo real do RAG. Em uma única chamada típica:

Quando o SLA de latência é apertado — e em 2026, com agentes autônomos tomando decisões em tempo real, cada vez mais é — 135 ms é uma eternidade. E a maior parte desse tempo é gasta com o “trabalho burocrático” de converter entre representações.

O que vem depois do RAG?

O artigo aponta para uma direção: estado neural persistente. A ideia é que, em vez de serializar o raciocínio em texto para armazenamento e recuperação, o próprio estado oculto da rede neural seja salvo, transferido e recarregado diretamente.

Isso eliminaria toda a cadeia de tradução: sem embeddings, sem busca vetorial, sem reranking, sem reconstrução de prompt. O estado neural de um agente poderia ser transferido para outro agente como quem passa um arquivo de checkpoint — com latência próxima de zero e preservação completa do contexto de raciocínio.

Não é ficção científica. Projetos de pesquisa em neural state compression e KV-cache sharing já demonstram que é possível compartilhar estados intermediários entre inferências. A diferença é que, hoje, isso funciona dentro de um mesmo modelo e sessão. O próximo passo é torná-lo portátil entre modelos, máquinas e momentos no tempo.

Enquanto isso, o RAG continua sendo a melhor ferramenta disponível. O ponto do artigo não é abandoná-lo, mas entender que ele é uma solução de compromisso — e começar a projetar o que vem depois.