Benchmark expõe falha de LLMs: respondem análise de tabelas sem evidência

Onde os LLMs tropeçam nas tabelas

Um novo benchmark, o TrustDABench, avaliou oito modelos de linguagem grandes em tarefas de análise de dados estruturados e encontrou uma falha recorrente: quando a evidência disponível não sustenta uma resposta, o padrão foi responder mesmo assim, em vez de se recusar. As chamadas “respostas silenciosas sem suporte” corresponderam a 74,8% das formas de falha observadas.

Dois tipos de desempenho, dois vencedores

O estudo separou confiabilidade (abstenção fundamentada em evidência, resumida pela métrica MRS) de robustez (manter uma resposta correta após mudar a representação da tabela, resumida pela ASR). O GPT-5.5 teve a melhor confiabilidade, com MRS médio de 24,21%, enquanto o Claude-Sonnet-5 teve a melhor robustez, com ASR médio de 9,10%.

O benchmark usou tarefas do AIDABench-QA e do DABench, com 19 operadores de perturbação gerados por um framework baseado em LLM agentivo. Das candidatas, 2.340 perturbações foram aceitas após validação automática e revisão por dez especialistas (exigindo pelo menos 90% de votos favoráveis).

O ponto mais frágil: evidências em conflito

Um dos achados mais agudos envolve conflito de evidências: operadores de conflito tiveram MRS médio de apenas 0,46%, contra 16,49% dos operadores de exclusão de informação. Ou seja, quando a informação disponível aponta para direções incompatíveis, os modelos quase nunca se abstêm — mesmo quando deveriam. Por estágio de falha, a ligação esquema/evidência liderou com 27,1%, seguida de detecção de ambiguidade de esquema (19,6%) e verificação de suficiência de valor (18,4%).

Recomendações e limites

Os autores sugerem tratar a verificação de fronteira de evidência como condição de parada intrínseca: antes de responder, o sistema deveria checar se a tabela disponível sustenta a resposta solicitada. Também recomendam treinar modelos para se manterem consistentes entre representações estruturadas equivalentes. É importante dimensionar o alcance: trata-se de um benchmark construído, com perturbações controladas e oito modelos — não de um veredicto sobre a confiabilidade de qualquer modelo em produção real. O preprint é o arXiv:2608.24145v1, de 25 de agosto de 2026.