O problema do fact-checking ponta a ponta
Modelos de linguagem são cada vez mais usados para verificação automática de fatos, mas o prompting ponta a ponta mistura recuperação de evidências, raciocínio e estimativa de incerteza num único bloco. Isso torna as falhas difíceis de diagnosticar e a confiança difícil de confiar.
A arquitetura modular
O R2VC propõe uma arquitetura modular em quatro etapas — recuperar, raciocinar, verificar, calibrar — para fact-checking com citações e abstenção:
- Recuperação híbrida (esparsa + densa) sobre a Wikipédia;
- Um gerador ajustado com supervisão e DPO que produz candidatos de veredicto estruturados e diversos;
- Um verificador externo (cross-encoder de inferência de linguagem natural, NLI) para selecionar o candidato com base na evidência;
- Um calibrador leve de sequência para estimar confiança e permitir abstenção seletiva.
Resultados
No benchmark FEVER, um backbone de 8B com R2VC alcança 13,74% a mais de acurácia que o baseline. Os estudos de ablação mostram que a seleção baseada em verificador e a calibração de confiança são os maiores contribuintes: remover a seleção derruba a acurácia para 76,24%, e remover a calibração quase dobra o Brier score. A análise de 250 erros revela que falhas de recuperação — especialmente evidências com entidade errada — seguem sendo o gargalo dominante.
Por que importa
Num momento em que desinformação se propaga em escala industrial, sistemas de verificação que não só acertam mais, mas também sabem quando não sabem (abstenção), são essenciais. A separação explícita de etapas permite auditar onde o sistema erra — recuperação, raciocínio ou calibração — em vez de culpar uma caixa-preta.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
