O custo da compressão: estudo define limite matemático para alucinações factuais de LLMs

Uma nova lente para as alucinações

Alucinação factual em perguntas de resposta fechada costuma ser tratada como um problema de cobertura: o modelo erra porque o fato relevante não está na memória interna. Um novo trabalho de teoria da informação mostra que existe uma segunda fonte de erro, mais sutil: mesmo quando um fato foi observado, a memória finita pode forçá-lo a ser armazenado apenas de forma aproximada.

O estudo “The Cost of Compression: A Rate-Distortion Limit on Factual Hallucination” modela o recall factual como um problema de compressão com perdas. Um aprendiz observa M fatos de treinamento, comprime-os em no máximo B bits e responde a consultas de teste sem recuperação externa (retrieval).

O limite provado

Para um mapeamento de verdade aleatório e uniforme, os autores provam um limite inferior de erro que separa claramente dois termos: o primeiro captura a distorção de compressão sobre fatos observados, e o segundo, a cobertura ausente sobre fatos não observados. A função central é a inversa da função rate-distortion de uma fonte de K símbolos sob perda zero-um.

Essa decomposição oferece uma forma compacta de raciocinar sobre memória seletiva, compressão forçada, estrutura, recuperação, abstenção e organização de contexto longo.

O que isso significa na prática

Os autores validam as previsões com simulações guiadas pela teoria e com sondas controladas de injeção de fatos em LLMs modernos, variando a carga de fatos e a memória treinável efetiva. O resultado não é uma teoria completa da alucinação, mas um relato information-teórico de um modo de falha separável: o recall com perdas de fatos observados sob memória finita.

Para quem desenvolve ou avalia sistemas de IA, a implicação é direta: nenhuma escala de parâmetros elimina sozinha a alucinação se a representação interna for obrigada a comprimir com perdas. A escolha entre armazenar, recuperar ou admitir incerteza (abster-se) vira uma decisão quantificável, não uma aposta.