Benchmarks de IA física medem a mesma coisa? Auditoria revela sobreposição de testes

Benchmarks de IA física medem a mesma coisa? Auditoria revela sobreposição de testes

O ranking de um modelo de “IA física” — aquela que percebe e age no mundo, como em robôs e veículos autônomos — pode depender mais de como os testes sobrepostos são contados do que da capacidade real do modelo. É o que conclui uma auditoria estatística publicada como preprint no arXiv.

O estudo A Statistical Audit of Physical AI Benchmark Redundancy (autores Zaruhi Navasardyan e Hrant Davtyan) analisou uma matriz de 51 modelos extraídos de um registro de 152, cada um com pelo menos 8 de 12 pontuações de benchmark reportadas.

Quando dois testes são quase o mesmo teste

A sobreposição mais clara apareceu em dois pares de benchmarks. A correlação de Spearman — medida de quão similarmente dois testes ordenam modelos — chegou a 0,876 entre EmbSpatial e CV-Bench (49 modelos) e a 0,860 entre Where2Place e RefSpatial-Bench (50 modelos). Ambos os pares ultrapassaram o limiar de 0,8 usado pela análise para sinalizar substitutos próximos.

Um teste de previsibilidade complementar modelou cada benchmark a partir dos outros 11, usando regressão ridge com validação cruzada. Where2Place, RefSpatial-Bench e ERQA foram os mais previsíveis, com R² de 0,727, 0,721 e 0,706 — um sinal de que parte da “informação” desses testes já é recuperável pelos demais.

O efeito prático no ranking

A consequência é concreta: ao colapsar os dois pares de substitutos em médias, 22 dos 51 modelos mudaram de posição em três ou mais lugares no ranking de média aritmética. O estudo não apresenta a ordem “desduplicada” como a única correta — decidir o que conta como substituto é, em si, um julgamento.

Um sinal comum por trás de tudo

A análise encontrou um padrão amplo: o primeiro componente principal das 12 métricas explicou 55,2% da variância total, e todos os benchmarks carregaram positivamente nele (de 0,48 a 0,88). Esse “eixo físico” acompanhou de perto o eixo de capacidade geral extraído de âncoras externas — com correlação de Spearman de 0,952, e de 0,950 com MMStar e 0,942 com Video-MME.

Quando o eixo de capacidade geral foi removido estatisticamente, a concordância interna dos benchmarks despencou: a correlação pareada média caiu de 0,487 para 0,250, e o número de pares acima de 0,5 caiu de 34 para 6 (de 66 possíveis). Em outras palavras, boa parte do que os benchmarks pareciam medir era, na verdade, um sinal geral compartilhado — não uma capacidade específica de manipulação ou navegação.

Uma suíte mais enxuta

Os pesquisadores então buscaram um conjunto menor que ainda separasse modelos, adicionando informação não recuperável dos testes escolhidos. Um caminho guloso selecionou RefSpatial-Bench, MindCube, VSI-Bench e BLINK como os quatro primeiros — retendo 78,5% da utilidade medida para os 12 benchmarks. Testes de sensibilidade mantiveram MindCube e VSI-Bench entre os quatro primeiros em todas as execuções.

Com esse conjunto compacto como base para um leaderboard Bradley-Terry, o HY-Embodied-0.5 MoE-407B-A32B liderou com Elo 2251, seguido pelo Qwen3.5-397B-A17B com 2032.

O que a análise não responde

Os autores são explícitos sobre os limites: nenhum dos 12 benchmarks mede sucesso real em um sistema físico — ou seja, um leaderboard compacto não deve ser lido como teste direto de desempenho de robô. As pontuações misturaram fontes reportadas e execuções dos próprios autores, sem estudo de reprodução sistemático.

A lição para quem acompanha a corrida da robótica e da IA incorporada é direta: rankings agregados de benchmarks podem esconder redundância de teste. Antes de citar “o melhor modelo de IA física”, vale perguntar se os testes não estão medindo a mesma coisa.