RAGSentinel: defesa contra envenenamento de RAG derruba ataque de 38% para 3%

O risco de envenenar o RAG

Sistemas de RAG (retrieval-augmented generation) são vulneráveis a um ataque silencioso: documentos envenenados injetados na base de conhecimento podem fazer o modelo responder exatamente o que o atacante quer. Uma nova defesa, o RAGSentinel, registrou queda drástica nesse tipo de ataque: 3% de taxa de sucesso, contra 38% do RAG vanilla e 6% do RobustRAG.

Como o filtro funciona

O RAGSentinel atua após a recuperação e antes da chamada final ao modelo, e é training-free e label-free: um encoder substituto mede o quanto cada documento se afasta de um consenso robusto calculado com mediana geométrica, aplicando um raio adaptativo à consulta para decidir o que filtrar.

Nos testes, a utilidade em consultas benignas não caiu: no MS-MARCO com Mistral-7B, a acurácia foi de 82%, igual à do RAG vanilla. Em cenários mistos com dois ataques simultâneos, o ASR ficou abaixo de 12%, enquanto o RAG vanilla chegou a 80%.

Os limites da garantia

O artigo é cuidadoso: o teorema de garantia só vale quando o conjunto recuperado tem maioria honesta e os documentos envenenados estão suficientemente separados no espaço de representação. Com cinco documentos envenenados, a acurácia no NQ cai para 31%. O custo de processamento também sobe — cerca de 0,99 a 1,16 segundo por consulta, contra 0,49 do vanilla.

Para empresas que rodam assistentes sobre bases internas de dados, o resultado mostra que é possível adicionar uma camada de consenso barata e compatível com modelos caixa-preta antes de confiar na resposta final.