Um novo pré-print mostra que gerar relatórios com IA de forma que cada afirmação estatística fique “travada” à sua evidência — antes de o modelo escrever a prosa ao redor — produz resultados muito mais repetíveis do que templates híbridos ou geração livre.
No comparativo principal de neuroimagem (fMRI), 98,5% dos números visíveis nos relatórios foram reproduzidos entre execuções usando o método de “claim-locked reporting”, contra 61,1% do método híbrido. A diferença de 37,4 pontos tem intervalo de confiança de 95% entre 15,1 e 59,7 pontos.
Como funciona
A ideia central é colocar o ponto de controle antes da prosa. O protocolo vincula cada afirmação reportável à sua fonte de evidência, aos números, à direção do efeito e à intensidade de linguagem permitida — só então o modelo de linguagem escreve o texto conectivo.
A avaliação comparou sete métodos de geração. Para fMRI, usou 428 participantes de uma coorte institucional focada em obesidade e 712 adultos da coorte pública HCP S1200, executando cada método com dois provedores de escrita e cinco sementes (20 células por método). Para ensaios clínicos (RCT), usou 200 registros do Evidence Inference 2.0.
Os números se mantiveram
Os baselines “ancorados” ficaram entre 15,2% e 32,3% de repetibilidade entre sementes. O template híbrido chegou a 61,1%, e o claim-locked a 98,5%. Na coorte HCP isolada, os índices foram 98,0%, 62,0% e 46,0% (geração livre), respectivamente.
O estudo também mediu o uso de linguagem forte sem ressalvas: foram 0,75 sentenças “unhedged-strong” por relatório no método claim-locked, contra 2,25 no híbrido e 2,55 na geração livre. Menos superlativos sem respaldo significa menos risco de o relatório afirmar mais do que os dados sustentam.
Para equipes que geram relatórios científicos, clínicos ou de auditoria com IA, o resultado aponta um caminho concreto: separar a validação das afirmações da redação do texto reduz alucinações numéricas e inconsistências entre execuções.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
