Estudo aponta lacuna na documentação de agentes de IA na saúde

O que o estudo revelou

Um preprint avaliou 279 registros de agentes de IA voltados à saúde e encontrou uma lacuna clara na forma como esse trabalho é documentado: os artigos descrevem os procedimentos de avaliação e benchmark com muito mais completude do que a arquitetura em tempo de execução, a governança e segurança, ou a proveniência e reprodutibilidade. O escore médio de completude foi de 63,7 em 100, com mediana de 67,5.

A lacuna de especificação

Entre os artigos em que cada dimensão se aplicava, a maior taxa de reporte incompleto foi justamente em arquitetura/runtime (84,6%), seguida por governança/segurança (82,8%) e proveniência/reprodutibilidade (78,1%). Em contraste, apenas 25,8% tinham lacunas em avaliação e 29,8% no alinhamento de processos de benchmark. Os autores chamam essa assimetria de evaluation-specification gap: os estudos explicam como testaram e avaliaram os agentes, mas não como os agentes foram estruturados, governados ou descritos de forma reproduzível.

É importante destacar que esses são escores de reporte, não de desempenho: não medem se um agente funcionou bem, e sim se a descrição do sistema permite entender, auditar e reproduzir o que foi feito.

A metodologia AGENT-O

O framework AGENT-O foi desenvolvido como uma ontologia modular para sistemas de agentes de IA em saúde, combinada a um Agent Card semântico e a um fluxo de avaliação do nível de completude do reporte. A avaliação usou inventário ontológico, raciocínio OWL-RL, três suítes de restrições SHACL, 12 consultas SPARQL de competência e avaliação assistida por modelo em cinco dimensões, com pesos de 25% para arquitetura/runtime e avaliação, 20% para proveniência e governança, e 10% para alinhamento de benchmark.

Por que isso importa agora

À medida que agentes de IA começam a entrar em fluxos clínicos e administrativos de saúde, a impossibilidade de auditar como foram construídos e governados deixa de ser um problema acadêmico e passa a ser uma questão de segurança e responsabilidade. No Brasil, onde o debate sobre regulação de IA na saúde avança, frameworks como o AGENT-O oferecem um vocabulário comum que pode orientar tanto pesquisadores quanto órgãos reguladores sobre o que exigir na documentação de sistemas.

Limitações do estudo

O corpus veio de dois inventários associados a revisões anteriores, e não de uma busca sistemática independente — portanto, não pretende cobrir exaustivamente a literatura. Os próprios autores reconhecem que os escores refletem a qualidade da documentação, não a qualidade clínica dos agentes avaliados.