Modelos de IA encontram o dado certo, mas o colocam no lugar errado

Modelos de linguagem conseguem reter os números ou campos que uma resposta exige e, ainda assim, colocá-los no endereço estrutural errado em uma saída JSON ou em uma tabela. É o que aponta um pré-print do arXiv. Os autores levantam a hipótese de que essa lacuna — entre ter o valor e posicioná-lo corretamente — fica mais evidente conforme as estruturas crescem em complexidade.

O erro escondido dentro de uma nota de aprovação

Para tornar essa lacuna visível, o artigo usa a chamada Decomposição Estrutura-Conteúdo (Structure-Content Decomposition, ou SCD). O método separa três perguntas: se a saída é válida no formato, se segue o esquema solicitado e se cada valor está na posição exigida. Isso permite distinguir uma resposta malformada de uma que contém o valor certo, mas o anexa ao lugar errado.

A comparação de diagnóstico cobriu seis modelos, entre sistemas de pesos abertos e fechados. Cada modelo enfrentou 1.500 tarefas de JSON (500 em cada um dos três níveis de complexidade) e 600 tarefas de tabela (200 por nível). As tarefas foram geradas algoritmicamente, sem usar um LLM, e os valores exigidos foram plantados em posições estruturais específicas — o que garante uma verdade de referência determinística.

A complexidade abre a lacuna

No nível mais alto de complexidade de JSON, a proporção de valores presentes foi maior que a proporção de valores posicionados corretamente para os modelos destacados. O DeepSeek-V4-Flash deslocou 35% dos valores que lembrou, enquanto o Qwen2.5-7B deslocou 74%.

Comparações adicionais separaram profundidade do número de valores. No Qwen2.5-7B, o deslocamento ficou perto de zero em profundidade de árvore 1 e subiu para 28,5% em profundidade 3. O mesmo problema apareceu em tabelas, e nomes repetidos ou opacos pioraram a taxa de erro em relação a nomes únicos e descritivos.

O achado tem implicação prática direta: agentes que geram JSON estruturado para chamar APIs podem estar “acertando o dado e errando o lugar” — uma falha silenciosa que testes simples de acerto/erro não capturam. Avaliar estrutura e conteúdo separadamente é o caminho proposto para medir isso de verdade.