Os benchmarks tradicionais de compreensão de vídeo estão ficando “fáceis demais”. Os modelos líderes já alcançam cerca de 90% de precisão no Video-MME, o que sugere que tarefas de pergunta-resposta em etapa única estão saturadas — e já não conseguem medir a inteligência dos modelos multimodais mais avançados.
O que muda com o VideoGAIA
É nesse contexto que pesquisadores apresentam o VideoGAIA, um benchmark de compreensão agentiva de vídeo. Em vez de responder a uma única pergunta sobre um clipe, o modelo precisa interagir em múltiplas etapas: perceber o vídeo iterativamente, invocar ferramentas externas, coletar informações complementares e integrar evidências multimodais ao longo de várias rodadas.
Um teste rigoroso
O conjunto contém 271 tarefas cocriadas por modelos e humanos, cobrindo cenários reais complexos e diversos. Cada instância de pergunta-resposta foi verificada de forma independente por três especialistas humanos, garantindo a correção e o nível adequado de dificuldade.
O resultado: queda brusca de desempenho
O dado mais revelador: todos os modelos avaliados — incluindo modelos de fronteira como GPT-5.5 e Kimi-K3 — ficam abaixo de 60% de precisão no VideoGAIA. É uma queda significativa em relação aos ~90% do Video-MME, e evidencia o tamanho do salto cognitivo entre “entender um vídeo” e “agir sobre um vídeo” com raciocínio e ferramentas.
Por que isso importa
A transição da compreensão convencional para a compreensão agentiva é exatamente o que define a próxima geração de assistentes de IA. Para quem trabalha com automação e agentes, o VideoGAIA funciona como um termômetro de uma capacidade ainda longe de madura: assistentes capazes de assistir, raciocinar e agir sobre vídeo do mundo real de forma confiável.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
