Modelos de vídeo para robôs parecem corretos, mas erram a cena — novo benchmark revela o problema

Modelos de vídeo para robôs podem “parecer” certos e errar a cena inteira

Um novo benchmark revela um problema que vídeos visualmente polidos costumam esconder: um modelo de mundo para robôs pode gerar uma sequência com aparência plausível e, ainda assim, errar a geometria real da cena, a posição dos objetos ou o movimento — e falhar quando o vídeo é convertido de volta em ações executáveis pelo robô.

O trabalho, apresentado em preprint, introduz o RoboPhys-3D, um protocolo de avaliação que organiza 50 métricas complementares em 18 subdimensões e quatro níveis de avaliação para modelos de vídeo de mundo incorporado.

O que os testes revelaram

Entre os quatro modelos avaliados, o Cosmos obteve a melhor pontuação composta focada em tarefas — o RoboPhyscore de 0,6330, equivalente a 92,7% do valor de referência. O mesmo modelo alcançou um Average Full Score (AFS) de 2,7797.

Mas os números revelam uma fragilidade importante: mesmo o melhor modelo reteve apenas 61,2% da referência na localização de objetos e 73,2% na precisão de trajetória. Ou seja, o modelo “se sai bem” no vídeo, mas tropeça ao reconstruir onde as coisas estão e para onde vão.

Os outros três modelos testados foram Wan 2.2, CogVideoX 1.5 e RoboDreamer — todos de código aberto.

Como a avaliação funciona

Para cada sequência gerada, o protocolo compara o vídeo com material de referência processado pelo mesmo pipeline de reconstrução 3D. Em seguida, decodifica o vídeo gerado em ações executáveis e as reproduz no simulador. O objetivo é distinguir se um erro aparente veio da reconstrução da cena ou da própria geração do vídeo — e ligar as pontuações visuais e geométricas ao comportamento simulado.

Os autores deixam claro que os resultados são comparações de benchmark, não evidência causal, e não estabelecem desempenho fora do ambiente simulado.

Por que isso importa agora

Modelos de mundo — sistemas que aprendem a prever como o mundo físico se comporta — são apontados como peça-chave para a próxima geração de robôs. Se um modelo de vídeo “bonito” não corresponde à física real, ele não serve para guiar um robô de verdade. O RoboPhys-3D oferece justamente uma régua mais honesta para medir essa correspondência, expondo a distância entre aparência e realidade física.