NVIDIA Cosmos 3 Edge: modelo de mundo de 4B controla robôs direto no dispositivo

Um modelo de mundo que cabe no robô

Robôs precisam de políticas capazes de se adaptar a sensores, ambientes e tarefas — e, idealmente, rodar no próprio hardware embarcado. É exatamente esse o papel do novo NVIDIA Cosmos 3 Edge, um omni-modelo de 4 bilhões de parâmetros (com um “reasoner” de 2B baseado em Nemotron) da família Cosmos 3.

Pré-treinado com os mesmos dados de mundo físico do Cosmos 3 Nano e do Cosmos 3 Super, ele já chega com entendimento de como objetos se movem e interagem. A diferença é o tamanho: pequeno o bastante para rodar no dispositivo, sobre o Jetson Thor.

Por que treinar no dispositivo importa

Modelos de mundo servem como base para aprender interações físicas, mas costumam ser grandes demais para implantação embarcada. Levar um modelo desses a um robô real impõe duas restrições práticas: memória (o modelo e seu estado precisam caber no hardware) e latência de controle (a inferência precisa acompanhar a frequência de controle exigida).

O pós-treinamento do Cosmos 3 Edge resolve as duas. No NVIDIA Jetson AGX Thor T5000, a política DROID gera cada “chunk” de ação em cerca de 1,53 segundo (a 640×540 e 15 Hz), cobrindo aproximadamente 2,13 segundos de movimento. Como o próximo chunk fica pronto antes de o atual terminar, o braço se move continuamente — sem nenhuma GPU de data center no caminho. Em tarefas em malha fechada no benchmark RoboLab, a política pós-treinada alcança 22,9% de sucesso.

O que a NVIDIA disponibiliza

O tutorial usa o conjunto nvidia/Cosmos3-DROID, com 76 mil trajetórias teleoperadas bem-sucedidas — cerca de 350 horas, 86 tarefas e 564 cenas, coletadas com um braço Franka Panda. O framework cosmos-framework é aberto, o checkpoint está no Hugging Face, e o pós-treinamento é reproduzível em quatro etapas: baixar o dataset, converter o checkpoint para o formato DCP, aplicar o filtro de curadoria e lançar o treino.

Vale notar que isso é pós-treinamento de modelo de fundação, não um fine-tune de GPU única: a configuração validada usa 64 nós de 4× GB200, por cerca de 68 horas. O treino completo exige planejamento de computação, mas o resultado é uma política que roda inteiramente no robô — e a técnica, segundo a NVIDIA, se estende além do controle: a Aigen, por exemplo, pós-treinou o Cosmos para gerar dados sintéticos de culturas e ervas daninhas, obtendo bom desempenho com apenas 1% de dados reais.