LLMs mostram sensibilidade metacognitiva parcial em raciocínio médico

Modelos de linguagem são cada vez mais avaliados para uso em medicina, mas a utilidade clínica real depende de duas coisas: a precisão da resposta e se a confiança do modelo acompanha a qualidade da evidência e a incerteza. Um novo estudo publicado no arXiv coloca essa segunda questão à prova — e encontra resultados animadores, mas com um ponto de atenção crítico.

Como o teste foi feito

Os pesquisadores criaram um benchmark clínico controlado, inspirado em psicofísica, para testar escolha diagnóstica e comportamento de confiança. O foco: distinguir provável transtorno neurocognitivo do tipo Alzheimer (AT-NCD) de comprometimento cognitivo relacionado à depressão (DRCI) — um dilema clínico real e difícil.

Foram geradas 45 vinhetas sintéticas variando força da evidência, evidência conflitante e informação ausente. Cada vinheta foi apresentada em três variantes de prompt, totalizando 135 testes.

Os resultados

No teste piloto com o gpt-4.1-nano, a precisão diagnóstica foi de 93,5%, com confiança média de 78,4% e AUROC de 0,876. O achado mais importante é qualitativo: a confiança aumentou com a distância da evidência em relação à fronteira diagnóstica, diminuiu quando faltava informação e permaneceu mais alta em testes corretos do que em incorretos.

O ponto de atenção

Isso indica uma sensibilidade metacognitiva parcial — a confiança do modelo não é globalmente sem sentido. Mas os erros se concentraram em casos moderados e conflitantes de AT-NCD, justamente onde o modelo migrou para o diagnóstico de depressão e manteve mais confiança do que a precisão empírica justificava. Em medicina, esse tipo de confiança excessiva é o mais perigoso, pois pode levar a decisões erradas tomadas com alta convicção.

O que isso ensina

A conclusão metodológica é valiosa: a qualidade da confiança deve ser medida diretamente, e não inferida da precisão geral do modelo ou da sua capacidade nominal. O estudo estabelece uma estrutura reproduzível para avaliar sensibilidade a evidências e falhas de calibração localizadas — exatamente o que se precisa antes de confiar em LLMs como apoio ao diagnóstico médico.