Testar se a resposta continua presa à evidência
Um dos modos de falha mais perigosos de um sistema de RAG é a resposta que “se solta” das evidências e passa a inventar. Um preprint de 28 de agosto propõe um método chamado Twin Worlds para detectar exatamente isso — e, quando a resposta se comporta mal, fazer o sistema se abster em vez de responder errado.
Nos testes, o Twin Worlds liderou as comparações de F1 e Acurácia em HotpotQA e MIRAGE nas seis combinações de benchmark e backbone testadas, com taxa de abstenção de no máximo 2,9%. Para comparação, o RC-RAG reportou taxas de abstenção entre 27% e 54%, e o Context Perturbation chegou a 25%.
Como o teste funciona
O coração do método é uma troca controlada de nomes. O Twin Worlds deslexicaliza as menções a entidades, transformando-as em placeholders que registram o tipo de cada entidade, e depois relexicaliza com entidades sintéticas de tipos correspondentes. As substituições são ligadas por mapeamentos reversíveis um-a-um, então uma resposta da versão alterada pode ser mapeada de volta e comparada com a original.
Se a resposta muda de um jeito que não acompanha a substituição, o sistema trata a falha de equivariância como um alerta e pode se abster. O objetivo é preservar as relações nas evidências enquanto reduz pistas lexicais que ativariam “priors” paramétricos — informação que o modelo tira dos seus padrões internos aprendidos, e não da evidência apresentada.
Por que isso importa
A avaliação principal cobriu 8.000 instâncias, com 2.000 de cada um dos benchmarks HotpotQA, MIRAGE, FaithEval e FEVER, em três backbones. No FaithEval — onde todas as perguntas são impossíveis de responder — o método teve a melhor acurácia e taxa de abstenção no LLaMA-4 e Mistral-Small. Os autores deixam claro que os números descrevem benchmarks, não uma promessa de que o padrão se repete em qualquer cenário.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
