Modelos de visão e linguagem conseguem descrever eventos físicos, mas raramente entendem o mecanismo por trás do que veem: o estado dos objetos, os parâmetros físicos e as dinâmicas que governam como o mundo evolui e responde a intervenções. Um novo artigo do arXiv propõe uma mudança de paradigma chamada Code-as-World: representar o mundo físico como código executável.
A representação que roda
Em vez de uma representação neural opaca, o Code-as-World expressa a composição física, a evolução dinâmica e a aparência visual de uma cena como código. Essa escolha cria uma abstração compacta, quantitativamente fundamentada e controlável: o modelo pode literalmente “rodar” o mundo para prever o que acontece, em vez de apenas descrevê-lo.
O loop agêntico de descoberta
Para construir essas representações a partir de observações multimodais — descrições em linguagem natural ou vídeos reais — os autores criaram um loop de descoberta agêntico inspirado no raciocínio abdutivo. O agente:
- propõe hipóteses de mundo executável;
- executa e renderiza essas hipóteses;
- verifica o resultado contra a observação real;
- refina iterativamente até convergir.
Resultados e aplicação
Como aplicação concreta, os mundos executáveis verificados fornecem supervisão física escalável para treinar modelos de visão-linguagem em raciocínio físico quantitativo. O modelo resultante, Code-as-World-VL, alcançou desempenho de ponta no benchmark QuantiPhy, superando inclusive modelos proprietários líderes.
O trabalho sinaliza uma direção relevante para a robótica e para a inteligência física: representações executáveis podem ser a base escalável para que máquinas raciocinem sobre causa e efeito no mundo real — um passo além do reconhecimento de padrões em direção a um entendimento que se pode testar e verificar.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
