Por que as métricas atuais falham na remoção de objetos
A remoção de objetos por IA evoluiu mais rápido do que as métricas usadas para avaliá-la. Modelos de difusão hoje reconstroem sombras, reflexos e estruturas oclusas com realismo impressionante — mas métricas como PSNR, SSIM e LPIPS frequentemente classificam os resultados na ordem errada. O problema é estrutural: a remoção é uma tarefa mal-posta e de um-para-muitos — não existe uma única verdade absoluta para comparar.
Pior: cortar etapas de inferência do modelo de difusão melhora as pontuações de PSNR e SSIM enquanto a qualidade visual desaba — um fenômeno conhecido como regressão à média. E métricas sem referência como ReMOVE e CFD têm seus próprios pontos cegos: ambas recompensam o desfoque em vez de penalizá-lo.
PROVE: métricas alinhadas à percepção humana
É aí que entra o PROVE (Perceptual RemOVal cohErence), lançado pela equipe MiLM Plus da Xiaomi e aceito na conferência ACM MM 2026. O framework introduz duas métricas que não precisam de vídeo de referência:
- RC-S (Removal Coherence — Spatial): avalia a coerência espacial da região editada. Usa análise de componentes conectados para isolar cada objeto removido, expande a caixa delimitadora em um terço e aplica Maximum Mean Discrepancy (MMD) com kernel RBF Gaussiano sobre features do DINOv2 em janela deslizante. A pontuação final é a média entre todos os alvos.
- RC-T (Removal Coherence — Temporal): avalia a consistência entre quadros consecutivos. Recorta os quadros adjacentes usando a união das máscaras (para evitar desalinhamento) e calcula MMD apenas dentro da interseção — a região restaurada em ambos os quadros.
Resultados que falam por si
Contra rankings humanos de 20 participantes (agregados por contagem de Borda), o RC-S atinge 0,59 de τ de Kendall e 0,66 de ρ de Spearman, contra 0,26/0,29 do ReMOVE e 0,16/0,18 do CFD. Ele fica em primeiro lugar em cinco dos seis benchmarks testados.
No teste de perturbação RORD-Val, o RC-S prefere a imagem limpa em 100% dos casos, enquanto o ReMOVE acerta 60,06% e o CFD apenas 49,27% sob desfoque. O RC-T responde de forma monotônica à corrupção crescente, diferentemente das métricas de Consistência Temporal e Cintilação Temporal tradicionais.
Em termos de eficiência, o RC-S processa a 134,6 ms por quadro em uma RTX 4090 — 13,7 vezes mais rápido que o CFD — tornando viável seu uso em pipelines de CI/CD noturnos.
PROVE-Bench: o benchmark do mundo real
O lançamento inclui dois conjuntos de dados complementares:
- PROVE-M (80 vídeos): filmagens pareadas com tripé — entrada com objeto e fundo limpo capturado em até dois minutos. Máscaras refinadas quadro a quadro com SAM3, controle de qualidade em três estágios e aumento de movimento estilo Ken Burns aplicado sincronizadamente. Cada clipe tem 81 quadros em 1080p.
- PROVE-H (100 vídeos): cenas desafiadoras sem verdade absoluta — multidões, água corrente, chamas, terrenos texturizados, reflexos múltiplos e movimento rápido — usando máscaras SAM3 não refinadas de propósito.
Implantável, mas com limites claros
O PROVE é lançado como Apache 2.0 com repositório PyTorch e um ponto de entrada CLI único (run_prove_metrics.py). Requer Python 3.10+, PyTorch 2.6+, Transformers 4.51+ e pesos do DINOv2-giant. Máscaras binárias são obrigatórias (pixels brancos marcam o objeto removido).
Os autores documentam três limitações honestas: (1) não serve para pontuação em tempo real no dispositivo; (2) efeitos colaterais como sombras grandes ou reflexos que se estendem além da região de avaliação recortada não são capturados; (3) a dependência de máscaras de qualidade limita a aplicação em cenários sem segmentação precisa.
Para times de visão computacional que precisam comparar modelos de remoção, calibrar hiperparâmetros ou filtrar dados de treinamento sem acesso a ground truth pareado, o PROVE preenche uma lacuna que as métricas tradicionais simplesmente não cobrem.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
