Quebre seu pipeline RAG antes dos usuários: testes adversariais contra falhas de recuperação

O problema: a avaliação de RAG costuma ser otimista demais

A geração aumentada por recuperação (RAG, na sigla em inglês) responde perguntas usando informações buscadas em um conjunto de documentos — o chamado corpus. Uma avaliação típica envia uma pergunta bem redigida a um corpus organizado e verifica se o recuperador retorna o trecho correto. O problema é que coleções de documentos em produção raramente permanecem organizadas.

Páginas antigas continuam pesquisáveis depois que uma política muda. Usuários digitam “warehuse” em vez de “warehouse”. O reconhecimento óptico de caracteres (OCR) pode ler “SSO” como “SS0”. Uma tabela pode ser dividida na quebra de página, separando um número do seu rótulo. Cada um desses problemas pode levar o recuperador ao trecho errado — e, com contexto incorreto ou incompleto, até uma resposta bem escrita do modelo fica errada.

A técnica: injeção de falhas

A autora propõe o que chama de injeção de falhas: adicionar deliberadamente problemas ao corpus para testar como o sistema responde, criando um pequeno conjunto de testes adversarial que captura falhas que a avaliação comum nunca capturaria. O experimento usa um recuperador simples com quatro documentos e quatro tipos de falha.

1. Documentos desatualizados e contraditórios

A política de devoluções mudou de 60 para 30 dias, mas o processo de ingestão adicionou a página nova sem remover a antiga. Como ambas contêm “devoluções” e “dias”, recebem a mesma pontuação — e o desempate por ordem de lista devolve a política de 2024, informando ao cliente um prazo errado. A correção é um desempate por recência: em caso de empate, preferir o documento com data de atualização mais recente.

2. Erros de OCR que escondem palavras

O OCR converte páginas escaneadas em texto pesquisável, mas troca letras e números parecidos (“Enterprise” vira “Enterpr1se”, “SSO” vira “SS0”). Com as palavras corrompidas, a busca por “Enterprise” e “SSO” retorna zero correspondências. A solução é uma função de normalização que desfaz substituições conhecidas de OCR antes da tokenização — aplicada tanto às consultas quanto aos documentos.

3. Erros de digitação na consulta

“Warehuse sync” está a uma letra de “warehouse sync”, mas um casador de tokens exatos trata as duas como palavras não relacionadas. Sistemas em produção precisam de tolerância a erros ortográficos — por exemplo, casamento aproximado (fuzzy) ou embeddings semânticos que aproximem palavras parecidas.

4. Tabelas divididas entre páginas

Quando uma tabela é cortada na quebra de página, um número pode ficar separado do seu rótulo, e o chunk perde a relação entre valor e significado. A recomendação é revisar a estratégia de chunking para preservar unidades lógicas inteiras.

Por que isso importa agora

Com a adoção acelerada de RAG em chatbots corporativos, suporte ao cliente e busca interna, a diferença entre a qualidade medida em laboratório e o desempenho real em produção se tornou um risco concreto de negócio. A mensagem central é prática e barata de aplicar: construa um conjunto adversarial pequeno, injete as falhas típicas do seu domínio e teste o recuperador antes de o usuário encontrar o problema sozinho. Quem só mede com perguntas bem comportadas sobre um corpus limpo está medindo um cenário que não existe.