Estudo compara como humanos e LLMs processam erros de linguagem

Quando lemos uma frase com um erro, nosso cérebro tropeça. Mas será que os modelos de linguagem “tropeçam” do mesmo jeito que nós? Um estudo do arXiv comparou, palavra por palavra, como humanos e LLMs reagem a dois tipos de ruptura linguística — e encontrou padrões distintos que ajudam a entender onde a máquina ainda diverge da cognição humana.

Dois tipos de erro, duas assinaturas

Os pesquisadores testaram duas distorções. A distorção conceitual (CD) troca um substantivo coerente por um semanticamente incongruente. A distorção referencial (RD) altera um pronome ou determinante para que ele entre em conflito com o referente pretendido.

Em humanos (99 falantes nativos de inglês, 1.972 leituras analisadas), a CD provocou um aumento acentuado e de curta duração no tempo de leitura, com pico cerca de duas palavras após o erro. Já a RD causou um aumento menor, porém distribuído ao longo das palavras seguintes, chegando até o fim da frase. A diferença de trajetória foi estatisticamente significativa (chi-quadrado = 66,58; p < 0,001).

E os modelos?

Os mesmos textos foram passados ao Qwen3-4B e ao Llama-3.2-3B. Usando “surpresa contextual” (surprisal) como medida, os modelos reproduziram a divisão: a CD gerou um pico concentrado no ponto do erro seguido de queda rápida, enquanto a RD começou menor e declinou de forma mais gradual — um padrão qualitativamente parecido com o dos humanos, ainda que a medida de distância entre representações tenha revelado diferenças adicionais (a RD produziu deslocamento inicial maior, o que não significa que fosse “mais difícil” de processar).

Um paralelo com limites

O estudo é cuidadoso ao apontar que as duas distorções usaram edições linguísticas diferentes (substantivo vs. pronome), então não dá para isolar com certeza se a diferença de trajetória reflete apenas a distinção conceitual–referencial. Ainda assim, a convergência entre o tempo de leitura humano e a surpresa dos modelos sugere que LLMs capturam algo real sobre a arquitetura do processamento de linguagem.

Para quem pesquisa interpretabilidade e o alinhamento entre máquinas e humanos, o resultado é um lembrete útil: mesmo quando os modelos acertam o resultado final, a forma como processam a linguagem — e como se “perturbam” com erros — pode divergir da nossa.