Alucinações em modelos multimodais têm origem visual, indica estudo

Uma causa esquecida das alucinações

Quando um modelo multimodal (MLLM) “inventa” um objeto que não está na imagem, a explicação dominante tem sido o viés de linguagem: o modelo confia demais em estatísticas de co-ocorrência do texto e “completa” o que espera ver. Um novo pré-print do arXiv desafia essa visão e apresenta evidências de uma causa complementar e pouco explorada: a alucinação de origem visual.

A hipótese é que parte das alucinações nasce de extração incorreta de características visuais e de desalinhamento entre os embeddings de imagem e de texto. Ou seja: o modelo não apenas “chuta” por causa da linguagem — ele às vezes “enxerga errado”.

As evidências quantitativas

Os autores usaram análise de similaridade de cosseno e medidas de entropia via Smooth Grad-CAM. O resultado é contraintuitivo e revelador: amostras alucinadas apresentam similaridade imagem-texto sistematicamente menor (média de 0,158 contra -0,122) e padrões de atenção invertidos — a atenção se dispersa quando o objeto-alvo está presente e se concentra erroneamente quando ele está ausente.

Em linguagem simples: quando o modelo alucina, sua atenção visual está olhando para o lugar errado, e o elo entre o que ele vê e o que ele diz está enfraquecido.

O remédio: ACFT

A partir desse diagnóstico, o trabalho propõe o Adversarial Contrastive Fine-Tuning (ACFT). A técnica usa exemplos adversariais de alucinação para treinar o modelo a separar melhor os pares imagem-texto corretos dos incorretos, corrigindo o desalinhamento na origem.

Por que importa

Alucinações em modelos multimodais são um dos principais bloqueios para adoção em tarefas de alto risco — laudos, inspeção, automação industrial. Entender que parte do problema é perceptivo, e não apenas linguístico, muda a estratégia de mitigação: em vez de só treinar mais linguagem, é preciso calibrar a visão e o alinhamento entre modalidades.

É um pré-print, e os ganhos do ACFT precisam de validação em escala e em modelos diversos. A contribuição mais sólida, por ora, é o diagnóstico: uma régua para medir onde, exatamente, o modelo começa a errar.