DF-MoE: detector de deepfake audiovisual com Mixture-of-Experts atinge 99% de precisão

O que é o DF-MoE

Um novo detector de deepfake audiovisual, o DF-MoE, foi o método com melhor resultado nos quatro cenários de avaliação do benchmark MAVOS-DD (closed-set, open-set model, open-set language e open-set full). No cenário fechado, reportou 0,99 de mAP, 0,99 de AUC e 97,73% de precisão.

A pergunta que o artigo tenta responder é direta: pistas audiovisuais de alto nível, extraídas de modelos pré-treinados e combinadas por um backbone de Mixture-of-Experts esparso, reduzem o overfitting específico de dataset e melhoram a generalização entre métodos de geração de deepfake?

Como funciona

O sistema extrai múltiplas pistas semânticas com modelos pré-treinados, passa cada uma por adaptadores especializados e combina tudo em um transformer esparso que decide entre “real” e “falso”. São seis experts com roteamento top-2, 424 milhões de parâmetros de inferência e 12,98 segundos por vídeo em uma GPU.

O pipeline foi avaliado em cinco datasets, incluindo mais de 60 mil vídeos de teste no MAVOS-DD. O código foi liberado publicamente no GitHub.

Limites honestos

A vitória não foi unânime: em outros conjuntos, concorrentes como LipFD e DF-Linear tiveram precisão maior em cenários específicos, e o desempenho caiu em testes cross-dataset (81,59% no Vox+FakeAVCeleb). Isso reforça que detecção de deepfake ainda é uma corrida com muitos empates técnicos.

Num contexto de eleições, fraudes por vídeo e desinformação — tema crítico no Brasil — avanços em detecção audiovisual robusta têm valor direto e imediato.