Alucinação ou erro de extração? O diagnóstico errado que prejudica seus pipelines de RAG

Alucinação ou erro de extração? O diagnóstico errado que prejudica seus pipelines de RAG

Nem todo erro do RAG é alucinação. Na verdade, a maioria não é. Quando você rotula todo resultado incorreto como “alucinação”, fecha a porta para a correção real — que está na cadeia de extração, não no modelo. Esta é a provocação central do artigo de Kezhan Shi no Towards Data Science, que propõe sete padrões de “contrato tipado” para transformar a geração do RAG de resposta livre em um objeto estruturado e auditável.

O problema da terminologia preguiçosa

Hallucination, em sentido estrito, é uma fabricação da memória paramétrica do modelo: o LLM inventa um fato sem ancoragem no contexto de entrada. No RAG, o modelo lê o contexto. Se a resposta está errada, a causa está a montante — no parsing, na pergunta, na recuperação ou no contrato de geração. Chamar toda falha de “alucinação” fecha o debate sobre onde agir. Nomear a causa real o reabre.

Padrão 1: O LLM é uma função, não um oráculo

O esquema de resposta é um contrato: recuperação estruturada entra, um objeto Pydantic tipado sai — com citações, flags de fidelidade e campos de autoavaliação. Nunca “a resposta como string”. Por exemplo, para a pergunta “qual é o valor do prêmio?”, o pipeline ingênuo retorna “O prêmio é de $124 por mês“. Já a abordagem tipada retorna Amount(value=124.0, currency="USD", unit="month", evidence=[Span(…)], answer_found=True, confidence=0.95). O valor já está tipado, a evidência aponta para a linha exata e os campos de autoavaliação viajam junto com a resposta.

Padrão 2: Extraia valores tipados, nunca compute

Peça Amount(value, currency, unit) e deixe o Python comparar com uma taxa de câmbio visível. A computação dentro do modelo apaga a trilha de auditoria. Para a pergunta “o prêmio é maior que 100 euros?”, extraia o valor bruto ($124/mês) e deixe o Python fazer a conversão com taxa registrada no log. O LLM extrai, o Python computa.

Padrão 3: Completude por estrutura, não por autoavaliação

Um modelo dentro do escopo de recuperação não consegue ver se a próxima página continua uma lista. A recuperação puxa uma página extra e o pipeline verifica se há fronteira de seção. A completude é determinística e ancorada na estrutura do documento, não em um palpite do modelo sobre texto que ele não pode enxergar.

Padrão 4: Dois booleanos, não um float de confiança

Resultados parciais, completos e fora do corpus precisam de rotas de ação diferentes. Um único confidence=0.6 colapsa três desfechos diferentes num único número. A solução: dois flags — answer_found e complete_answer_found — que mapeiam diretamente para três decisões: continuar recuperando, enviar a resposta ou recusar.

Padrão 5: Um prompt por formato, despachado em runtime

Um dispatcher compõe BASE + fragmento de formato + restrições opcionais, registrando quais fragmentos foram aplicados. Seis meses depois, um formato errado é rastreável — ao contrário de um mega-prompt com cláusulas não comentadas que cresce organicamente.

Padrão 6: Nada de modelos de raciocínio em extração JSON

O esquema já restringe o trabalho. Os tokens extras de “thinking” acrescentam latência e dinheiro sem ganho de precisão — já que não há julgamento aberto a fazer. Use o menor modelo que preenche o esquema de forma confiável.

Padrão 7: Decomponha para modelos pequenos

Um modelo de fronteira preenche um esquema composto (extrair + converter + formatar) em uma chamada. Um modelo pequeno não — ele inventa os campos derivados silenciosamente. A correção: decompor o contrato em estágios que o modelo pequeno consegue lidar isoladamente, com Python computando os valores derivados entre as chamadas.

Por que isso importa agora

Com a explosão de aplicações RAG em produção — de chatbots jurídicos a análise de contratos empresariais — a diferença entre uma resposta útil e um desastre de compliance está na capacidade de auditar cada campo gerado. Os sete padrões de Shi oferecem um framework prático para substituir a confiança cega por contratos verificáveis. O código acompanha o artigo no repositório doc-intel/notebooks-vol1 no GitHub, com notebooks executáveis que reproduzem cada padrão em documentos reais.