Estudo mostra que métricas automáticas de criatividade em IA divergem da avaliação humana

Um novo preprint coloca em xeque uma prática cada vez mais comum no ecossistema de IA: usar métricas automáticas — muitas vezes calculadas por um próprio LLM atuando como juiz — para avaliar a criatividade de textos gerados por máquinas. A conclusão central é que a maioria dessas medidas se alinha muito pouco com o julgamento humano.

Correlações fracas em quase todas as dimensões

Os pesquisadores compararam sete métricas automáticas com avaliações humanas em 11 dimensões de criatividade. A maioria das correlações ficou entre -0,2 e 0,2 — uma faixa que o próprio artigo descreve como “muito fraca a desprezível”. O chamado Creativity Index teve correlação de apenas 0,07 com a criatividade avaliada por humanos. A métrica CR-POS apresentou a associação positiva mais forte, de 0,29, mas ainda considerada fraca.

O efeito teto do juiz-LLM

O contraste ficou mais nítido quando a comparação passou a considerar quem escreveu os textos. Os avaliadores humanos consideraram histórias escritas por humanos e por IA praticamente indistinguíveis em qualidade, com diferenças significativas apenas em autenticidade e elaboração. O juiz-LLM, por outro lado, produziu diferenças significativas em todas as 11 dimensões — e atribuiu nota máxima a todas as histórias geradas por IA em várias delas, sem variação alguma. Isso é um efeito teto: as notas se acumulam no topo e deixam de distinguir textos fortes de textos fracos.

Como o estudo foi feito

O corpus usado foi balanceado: 200 histórias, sendo 100 escritas por humanos e 100 por máquinas. A avaliação humana somou 441 julgamentos de 115 participantes, com uma média de 2,21 avaliações independentes por texto. As avaliações humanas e de LLM foram feitas às cegas, sem identificação de autoria.

Por que isso importa

O resultado importa para qualquer equipe que use LLMs como juízes em benchmarks, no refinamento de modelos ou na curadoria de conteúdo. Se as notas automáticas não correspondem à percepção humana — e ainda apresentam viés de efeito teto a favor dos próprios modelos —, decisões tomadas com base nelas podem estar distorcidas. O estudo é um convite à cautela antes de substituir a avaliação humana por juízes automatizados.