Teste com 270 execuções mostra que RAG pode gerar falsas memórias em agentes de IA — e o replay completo da conversa é mais seguro
Um experimento com 270 execuções de agentes de IA em 30 tarefas revelou um resultado contraintuitivo: a estratégia de memória baseada em RAG (Retrieval-Augmented Generation) foi a única que produziu uma falsa memória confirmada e rastreável, enquanto o replay completo do histórico de conversa se mostrou mais confiável.
O benchmark, publicado no Level Up Coding, comparou três estratégias de memória para agentes de IA contra um controle sem memória. O resultado esperado era que o RAG — que busca trechos relevantes em vez de entregar o histórico inteiro — fosse a abordagem mais precisa. Não foi.
Os números
| Estratégia | Precisão | Respostas erradas | Falsas memórias |
|---|---|---|---|
| Sem memória (controle) | 32,2% | 61 | 0 |
| RAG (chunks + busca) | 56,7% | 39 | 1 (confirmada) |
| Histórico completo | 64,4% | 32 | 0 |
| Resumo progressivo | 57,8% | 38 | 0 (não confirmada) |
A falsa memória do RAG aconteceu quando o sistema de busca e recuperação trouxe um trecho de uma decisão antiga que já havia sido revogada, mas o agente a tratou como informação atual. O pesquisador conseguiu rastrear exatamente qual chamada de retrieval causou o erro — algo que seria muito mais difícil de depurar em produção.
Por que o histórico completo foi melhor?
O replay completo do histórico de conversa (full-history replay) entrega todo o contexto para o agente em vez de selecionar trechos. A intuição diz que isso deveria causar mais interferência — o agente se perderia em informações antigas. Mas o experimento mostrou o contrário: com o contexto completo, o agente conseguiu distinguir melhor informações atuais de obsoletas.
O pesquisador explica: “Eu esperava escrever sobre interferência. A hipótese, emprestada de todo post sobre ‘apodrecimento de contexto’ que circula este ano, era: dê a um agente seu próprio histórico de conversa e ele eventualmente vai confiar em algo obsoleto. O RAG deveria ser a alternativa disciplinada. Preciso. Seguro.”
Lições para quem constrói agentes
O experimento não condena o RAG como estratégia de memória, mas mostra que a qualidade da recuperação é crítica: um chunk mal selecionado pode ser pior do que contexto nenhum. Para agentes com janelas de contexto grandes (128K+ tokens), o replay completo pode ser a opção mais segura até que os sistemas de retrieval sejam mais robustos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
