NeuroVFM: Modelo de IA Aprende Neuroanatomia Diretamente de Exames Clínicos sem Rótulos

Modelos de IA de última geração aprendem principalmente com dados públicos da internet. Mas exames de neuroimagem clínica — ressonâncias magnéticas e tomografias computadorizadas — raramente aparecem nesse ecossistema, porque contêm características faciais identificáveis. Como resultado, modelos generalistas têm desempenho fraco em tarefas de diagnóstico cerebral.

Uma equipe de pesquisa da Universidade de Michigan acaba de mudar esse cenário. Publicado na Nature Medicine, o NeuroVFM é um modelo fundacional visual para neuroimagem que aprende anatomia cerebral e patologias diretamente de exames clínicos não curados, sem depender de laudos radiológicos pareados.

O que é o NeuroVFM?

O NeuroVFM é um modelo fundacional visual generalista treinado com 5,24 milhões de volumes clínicos de ressonância e tomografia. Esses dados vêm de 566.915 estudos do conjunto UM-NeuroImages, abrangendo mais de duas décadas de atendimento de rotina no Michigan Medicine.

A equipe chama sua abordagem de “health system learning” (aprendizado do sistema de saúde). O modelo aprende com dados não curados gerados durante operações clínicas normais, evitando o gargalo de depender de laudos radiológicos pareados e a curadoria específica por doença usada em classificadores estreitos.

Como o Vol-JEPA Funciona?

O modelo base do NeuroVFM é chamado Vol-JEPA, que estende os métodos anteriores I-JEPA e V-JEPA para imagens médicas volumétricas. É um algoritmo auto-supervisionado exclusivamente visual.

Diferente de abordagens tradicionais que reconstroem pixels, o Vol-JEPA prevê representações em um espaço latente aprendido. Isso elimina a necessidade de rótulos, texto de laudos e decodificador de voxels. O processo funciona assim:

• Cada volume 3D é dividido em pequenos blocos de 4×16×16 voxels não sobrepostos
• O volume é separado em contexto visível (25% para ressonância, 20% para tomografia) e região mascarada alvo
• Um codificador aluno processa os blocos de contexto visível
• Um preditor combina os latentes do contexto com codificações de posição do alvo para prever os latentes da região mascarada
• Um codificador professor (média móvel exponencial do aluno) gera os latentes alvo de referência
• O treinamento minimiza a perda L1 suave entre latentes previstos e do professor

O mascaramento é focado no primeiro plano usando máscaras de cabeça pré-calculadas, incentivando o codificador a modelar neuroanatomia compartilhada em vez de atalhos de fundo.

Desempenho e Benchmark

Para medir a performance, a equipe congelou cada codificador e treinou sondas atentivas idênticas por estudo. O endpoint primário foi a média macro AUROC em 156 tarefas diagnósticas — 74 diagnósticos de ressonância e 82 de tomografia.

O NeuroVFM atingiu 92,68 de AUROC em tomografia e 92,49 em ressonância magnética, superando todos os baselines. Como PRIMA, HLIP e NeuroMAE compartilham os mesmos dados de treinamento, as diferenças isolam o objetivo: a predição latente superou tanto a supervisão por laudos quanto a reconstrução de voxels.

Em eficiência, um treinamento completo do Vol-JEPA usou menos de 1.000 horas de GPU, sendo 7× mais rápido que o baseline 3DINO e cabendo lotes 16× maiores com a mesma memória. O codificador base tem 85,8 milhões de parâmetros e a variante pequena, 21,7 milhões.

O que o Modelo Habilita Além do Diagnóstico

Além da classificação diagnóstica, o NeuroVFM suporta várias tarefas usando os mesmos tokens visuais congelados:

• Geração de laudos: A equipe emparelhou o NeuroVFM congelado com Qwen3-14B no estilo LLaVA-1.5. O sistema NeuroVFM-LLaVA gerou achados clínicos estruturados com qualidade superior aos baselines de fronteira.
• Triagem automática: Os achados passam por um modelo de raciocínio que classifica a acuidade: normal, rotina ou urgente.
• Predições localizadas: Um pooler MIL baseado em atenção mapeia achados para regiões específicas da imagem, sem anotações regionais.
• Transferência entre modalidades: Uma sonda treinada em tomografia funcionou em ressonância com queda de menos de 5 pontos de AUROC.

Na geração de laudos, o NeuroVFM-LLaVA foi reportado como 24× mais barato e 23× menos intensivo em carbono que o GPT-5.

Em um estudo prospectivo silencioso de uma semana no sistema de saúde (n=1.155 pacientes), o NeuroVFM alcançou 92,6% de acurácia balanceada em triagem, contra 71,2% do GPT-5. No entanto, sua sensibilidade foi de 86,5% — o que significa que 21 dos 155 achados críticos não foram detectados. Os autores enquadram o sistema como suporte à decisão, não triagem autônoma.

Pontos Fortes e Limitações

✅ O que o NeuroVFM entrega:

• Aprende de exames não curados, sem supervisão de laudos
• Compartilha um único espaço latente entre tomografia e ressonância
• Desempenho consistente entre fabricantes, intensidades de campo e subgrupos demográficos
• Treinamento eficiente: menos de 1.000 horas de GPU
• Código sob licença MIT

⚠️ Limitações importantes:

• Sensibilidade de triagem de 86,5% — ainda há perdas de achados críticos
• Pesos sob licença não comercial (CC-BY-NC-SA-4.0) e exigem aprovação de acesso
• Modelo não aprovado pela FDA
• Suscetível a vieses de conjunto de dados, arquitetura e objetivo
• Resultados de um único sistema de saúde acadêmico

Por que Isso Importa para o Brasil

O Brasil tem um dos maiores sistemas públicos de saúde do mundo, com o SUS realizando milhões de exames de imagem por ano. Modelos como o NeuroVFM abrem caminho para triagem assistida por IA em escala em regiões com escassez de radiologistas — desafio crítico no Norte e Nordeste do país. A abordagem de aprendizado com dados não curados é especialmente relevante para hospitais que não têm infraestrutura de laudos estruturados, comum na rede pública brasileira.