GraphEval: Como Grafos de Conhecimento Detectam Alucinações em LLMs

As alucinações continuam sendo um dos problemas mais conhecidos dos grandes modelos de linguagem (LLMs): respostas factualmente incorretas, sem sentido ou simplesmente inventadas, geralmente por falta de conhecimento interno do modelo sobre o assunto. Embora muitas soluções tenham surgido nos últimos anos para mitigar o problema, frameworks metodológicos de avaliação para diagnosticar internamente as alucinações receberam menos atenção.

Um estudo recente de pesquisadores da Amazon propõe usar grafos de conhecimento como meio de analisar e detectar alucinações em LLMs. O framework apresentado se chama GraphEval.

Como o GraphEval funciona

Diferente das métricas clássicas que fornecem pontuações únicas para avaliar aspectos como precisão ou certeza, o GraphEval aplica um processo de avaliação em dois estágios que enfatiza a explicabilidade — ou seja, oferece insights sobre onde exatamente a alucinação ocorreu.

Os dois estágios são:

• Construção de um grafo de conhecimento a partir da resposta gerada pelo modelo. O grafo consiste em triplas semânticas no formato (Sujeito, Relação, Objeto), onde sujeitos e objetos correspondem a nós e relações correspondem às arestas que conectam esses nós.
• Avaliação de cada tripla do grafo contra um contexto de referência (ground-truth) através de um modelo de inferência de linguagem natural (NLI). Qualquer tripla que não puder ser inferida como verdadeira pelo contexto é sinalizada como alucinação.

Exemplo prático

Em um cenário simulado, o artigo demonstra o GraphEval com código Python. Um contexto de referência é criado descrevendo o que o GraphEval realmente é — um framework de avaliação baseado em grafos de conhecimento que utiliza modelos NLI prontos para detectar inconsistências. Em seguida, uma resposta hipotética do LLM é gerada contendo uma alucinação deliberada: “requer um servidor empresarial extremamente caro para operar”.

As triplas extraídas são:

• (GraphEval, é, framework de avaliação) — ✅ confirmada
• (GraphEval, usa, Grafos de Conhecimento) — ✅ confirmada
• (GraphEval, requer, servidor empresarial caro) — 🚨 alucinação detectada

O modelo NLI utilizado é o DeBERTa-v3 da Hugging Face, um modelo open-source que não requer token de acesso. A tripla com alucinação retorna “neutral” em vez de “entailment”, sinalizando corretamente o problema.

O artigo ainda inclui uma visualização do grafo com NetworkX e Matplotlib, colorindo arestas em verde (confirmadas) e vermelho (alucinações), oferecendo um mapa visual da confiabilidade da resposta do modelo.

Por que isso importa

O GraphEval representa um avanço importante em direção a sistemas de IA mais confiáveis. Em vez de simplesmente saber se um modelo alucinou, engenheiros agora podem identificar qual parte específica da resposta é problemática — uma diferença crucial para aplicações em produção onde a explicabilidade é tão importante quanto a precisão.