Por que medir alfabetização em IA
À medida que a IA generativa entra na escola e no trabalho, cresce a necessidade de medir o quanto as pessoas realmente entendem a tecnologia — não apenas se sabem usá-la. Um grupo de pesquisadores da Universidade de Tartu, na Estônia, desenvolveu e validou um teste objetivo de 18 perguntas de múltipla escolha para avaliar o conhecimento conceitual de IA generativa em estudantes do ensino médio.
Como o teste foi construído
Cinco integrantes do laboratório de Inteligência Artificial e Natural da universidade redigiram, revisaram e refinaram os itens em rodadas repetidas. Cada questão tem quatro opções e uma resposta correta. Na etapa de revisão por especialistas, cinco avaliadores (três especialistas em IA ou ciência de dados, um tecnólogo educacional e um psicólogo) avaliaram relevância e clareza, o que levou à exclusão de um item — o conjunto final ficou com 18 questões cobrindo domínios técnicos, práticos e humanos.
O que a validação mostrou
Para a validação principal, 100 escolas de ensino médio estonianas participaram. De 8.698 respondentes, 7.432 foram mantidos para análise, divididos aleatoriamente em um grupo de desenvolvimento (3.737) e um grupo de validação separado (3.695).
O modelo que melhor se ajustou foi o de três parâmetros (3PL), que permite que as questões variem em dificuldade, capacidade de discriminação e chance de acerto por chute. A confiabilidade foi de 0,72 pela estimativa marginal — adequada para pesquisa em grupo, mas insuficiente para decisões individuais de alto risco. O teste se mostrou menos preciso para estudantes na faixa mais baixa da escala.
Uma descoberta relevante
Um piloto com 71 estudantes encontrou uma associação entre pontuações mais altas no GenAIT e menor “percepção mágica” da IA (correlação de Spearman de -0,30 a -0,35). No levantamento principal, as pontuações também tiveram associação negativa com a frequência de uso de LLMs, embora a análise transversal não permita afirmar causalidade.
Os limites
O GenAIT mede conhecimento conceitual, não desempenho real em prompting, verificação ou avaliação de resultados. O estudo não incluiu outro instrumento objetivo de comparação, e a ausência de dados demográficos impede avaliar se o teste funciona de forma equivalente entre subgrupos. É, portanto, uma validação inicial — uma ferramenta promissora para pesquisa em nível de grupo, não um parâmetro universal. O trabalho é um pré-print (versão 1, datado de 26 de agosto de 2026) e ainda não passou por revisão por pares.
