Contexto no nível da frase melhora RAG multimodal em grafos de conhecimento

Qual é a melhor forma de “embalar” o texto que acompanha cada elemento visual em um grafo de conhecimento multimodal? Um novo preprint do arXiv testou essa pergunta e encontrou que usar contexto no nível da frase — em vez de parágrafos completos ou resumos — produz os melhores resultados em uma tarefa de recuperação aumentada por geração (RAG) multimodal.

O que o CEMMKG faz

O método, chamado CEMMKG (Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs), adiciona diferentes níveis de texto na construção de grafos de conhecimento multimodais. Ele distingue o contexto local, ligado a um elemento visual individual, do contexto global, que representa o documento como um todo.

O design é sutil: durante a construção do grafo a partir da imagem, o método fornece o contexto completo; já na etapa de fusão multimodal, usa apenas o contexto local. Isso leva a informação do documento inteiro para a construção do grafo, mantendo a fusão focada no texto ligado a cada elemento visual específico.

O que o benchmark mostrou

A avaliação principal usou 106 perguntas do subconjunto VisionHeavy do MMLongBench-Doc, selecionado por ser intensivo em imagens e por exigir evidências que não ficam restritas a uma única passagem. A geração foi determinística (temperatura 0).

No framework MMGraphRAG, a configuração “frase de referência” liderou, com 34,91% de precisão estrita e 36,84% de precisão suave. Um resumo de parágrafo chegou a 31,13% e 32,82%. Já parágrafos completos ficaram em 22,64% — abaixo até do MMGraphRAG nativo (24,17%).

Os resultados variaram por tipo de visual. Para perguntas sobre figuras, a configuração de frase marcou 24,70% de precisão suave contra 6,25% do MMGraphRAG. Em perguntas de gráficos, 31,25%. Em perguntas de tabela, o resumo de parágrafo liderou com 26,46%.

Um resultado delimitado

Os autores são cautelosos: o estudo não estabelece que o contexto de frase seja universalmente ótimo, apenas que foi a melhor configuração entre as testadas. O resultado principal vem de 106 perguntas e o artigo não reporta intervalos de confiança nem variabilidade entre execuções. Ainda assim, o trabalho oferece uma orientação prática concreta para quem constrói sistemas de RAG multimodal: menos contexto, bem escolhido, pode valer mais do que contexto em excesso.