Pesquisadores do Ai2 (Allen Institute for AI) apresentaram o DiScoFormer, uma nova arquitetura de transformer capaz de aprender simultaneamente a função de densidade e a função de score de uma distribuição de probabilidade — duas tarefas que tradicionalmente exigiam modelos separados. O trabalho foi publicado no blog da Hugging Face nesta segunda-feira (29).
O problema que o DiScoFormer resolve
Modelos generativos modernos — como os de difusão — dependem da função de score (o gradiente do log da densidade) para gerar amostras. Já modelos baseados em energia precisam estimar a densidade diretamente. Tradicionalmente, essas duas abordagens exigem arquiteturas e treinamentos distintos. O DiScoFormer unifica ambas as estimativas em um único modelo, usando uma formulação que cobre tanto distribuições contínuas quanto discretas.
Como funciona
O modelo aprende uma representação conjunta de densidade e score por meio de uma função de perda que combina objetivos de máxima verossimilhança e matching de score. A arquitetura transformer permite que o modelo escale para dados de alta dimensionalidade, e os experimentos mostram desempenho competitivo com abordagens especializadas — com a vantagem de ser um único modelo para ambas as tarefas.
Implicações práticas
A unificação de densidade e score em uma única arquitetura pode simplificar pipelines de modelagem generativa: em vez de treinar e manter modelos separados para diferentes tarefas de inferência probabilística, um único DiScoFormer pode ser reutilizado. Isso é relevante para aplicações como descoberta de medicamentos (onde é preciso tanto gerar quanto avaliar moléculas), modelagem climática e simulações físicas.
O modelo e o código estão disponíveis no Hugging Face sob licença Apache 2.0.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
