Detectando alucinações em LLMs pela assinatura topológica do contexto

Alucinações em modelos de linguagem têm uma assinatura estrutural detectável no grafo de atenção — e ela pode ser identificada em uma única passada. É o que propõe uma nova pesquisa que analisa a topologia do fluxo de informação para separar respostas alucinadas das corretas, antes mesmo de a saída ser concluída.

A abordagem: curvatura e gargalos de informação

O método se apoia na curvatura de Forman-Ricci, uma ferramenta da geometria discreta aplicada ao grafo de atenção do modelo. A ideia central é identificar padrões estruturais que indiquem gargalos de informação — pontos em que o contexto relevante deixa de fluir corretamente entre os tokens.

A técnica captura tanto características semi-locais quanto globais do fluxo de informação associado aos cabeçotes de atenção. Isso permite distinguir, em tempo real, quando uma resposta está sendo gerada com base em contexto consistente ou quando o modelo está “inventando”.

Resultados nos benchmarks

Nos testes, a abordagem de passagem única superou de forma consistente os métodos baseados em atenção já existentes e as estratégias de múltiplas respostas, em dois benchmarks distintos de detecção de alucinação. O desempenho se manteve competitivo em arquiteturas de LLM variadas — um ponto importante, já que técnicas dependentes de um modelo específico tendem a não generalizar.

O que as alucinações revelam sobre o modelo

A análise mais profunda revelou um padrão consistente: respostas alucinadas são caracterizadas por uma dependência excessiva da auto-atenção, por uma recuperação difusa de contexto de tokens anteriores e por um fenômeno chamado “over-squashing” de informação — especialmente na camada final do transformer.

Na prática, isso significa que a alucinação não é um ruído aleatório, mas o resultado de uma falha específica no compartilhamento de contexto durante a geração causal. Quando o modelo perde o fio do contexto, ele preenche a lacuna com conteúdo plausível, porém inventado.

Por que isso importa agora

A detecção de alucinação é hoje um dos gargalos mais críticos para adoção de LLMs em setores que exigem precisão — jurídico, saúde, financeiro e jornalístico. Métodos que exigem múltiplas gerações custam caro em latência e computação. Uma detecção confiável em uma única passada reduz esse custo drasticamente e abre caminho para correção em tempo real.

Como limitação, os testes se concentraram em dois benchmarks de detecção, e a aplicação em tarefas de raciocínio longo ou em modelos multimodais ainda não foi explorada no estudo.