ReImageNet revela que 12% dos rótulos do ImageNet estão incorretos e corrige o benchmark mais famoso da visão computacional

O benchmark mais famoso da visão computacional estava com erros

O ImageNet-1k é, há mais de uma década, o conjunto de dados mais usado para medir o desempenho de modelos de visão computacional. Um novo trabalho, batizado de ReImageNet, fez a reanotação mais completa já realizada do conjunto de validação e encontrou problemas estruturais: cerca de 12% dos rótulos originais estão incorretos, 33,3% das imagens contêm mais de um objeto relevante e 3,8% não têm nenhum objeto das classes do ImageNet.

Por que isso importa agora

Os problemas do ImageNet já eram conhecidos há anos, mas a maioria das pesquisas continuava usando os rótulos ruidosos de 2012. O ReImageNet vai além das tentativas anteriores de correção e inclui correção multirrótulo, localização de objetos, definições de classe revisadas e atributos semânticos (como reconhecimento de texto, reflexos, multidão e dominância de objeto).

O efeito nas métricas

Com os novos rótulos, a precisão top-1 aumenta em até 1,2% para modelos supervisionados e em 5% a 6% para modelos de linguagem multimodais (MLLMs). Isso indica que parte do erro reportado em benchmarks anteriores era, na verdade, ruído no próprio conjunto de teste.

Uma lição sobre anotação

Os autores argumentam que anotar dados na escala do ImageNet não pode ser feito em uma única passada: erros e ambiguidades de definição só aparecem durante o próprio processo de anotação. A combinação de anotadores humanos com modelos de linguagem, apoiada por ferramentas adequadas, representou o teto de qualidade atual nessa escala. O trabalho aponta ainda que os problemas do ImageNet-1k se propagam para conjuntos de teste derivados — um sinal de que a questão é estrutural, e não pontual.