A NVIDIA publicou quatro checkpoints abertos da família Cosmos 3 Nano para gerar mundos simulados interativos voltados a robótica e direção autônoma. O conjunto, anunciado em 5 de novembro de 2026 no Hugging Face, cobre geração de dados sintéticos multivista, simulação contínua com câmera e LiDAR, tradução de controles de simuladores em vídeo fotorrealista e previsão visual das consequências de ações de robôs bimanipuladores. Os pesos têm 16 bilhões de parâmetros treináveis e são distribuídos sob a Open Model Development License 1.1 (OpenMDW 1.1), que permite usos comerciais e não comerciais dentro de seus termos.

O lançamento é relevante porque desloca uma parte do custo de criar e testar sistemas de IA física: em vez de depender apenas de coleta em ruas, galpões ou laboratórios, equipes podem produzir observações sintéticas condicionadas por controles de cena, sensores e ações. Isso não elimina a necessidade de validação no mundo real. Ele cria, porém, uma camada aberta para testar cenários raros, mudar condições ambientais e medir como uma política reage antes de colocá-la diante de pessoas, veículos e equipamentos.

Resumo: o que a NVIDIA lançou

  • Cosmos3-Nano-Transfer-Auto: gera dados de direção offline, com vídeo sincronizado de até 11 câmeras — inclusive lentes fisheye — e suporte a geração conjunta de RGB e LiDAR.
  • Cosmos3-Nano-Sim-Auto: é a variante de streaming para direção; gera pequenos trechos sucessivos de observações de câmera e LiDAR a partir de histórico e controles atualizados.
  • Cosmos3-Nano-Sim-Transfer: transforma controles espaciais de um simulador, como profundidade, segmentação, bordas e aparência aproximada, em vídeo RGB.
  • Cosmos3-Nano-Sim-Bimanual: prevê o próximo vídeo de uma cena diante de ações de robôs de dois braços ou de movimentos de câmera.

O que é um modelo de mundo — e o que ele não é

Um modelo de mundo é um sistema que tenta prever observações futuras a partir do estado conhecido, de controles e de ações. No caso do Cosmos 3 Nano, essas observações são principalmente sequências visuais e, em alguns casos, leituras LiDAR sincronizadas. O objetivo não é apenas produzir um vídeo convincente: é manter uma relação utilizável entre a ação aplicada, a estrutura da cena e o que um agente deve observar em seguida.

Essa diferença importa. Uma cena bonita, mas inconsistente com a geometria, com a sinalização ou com o movimento de um robô, tem pouco valor para treinar ou avaliar uma política. A própria NVIDIA ressalta que ainda é necessário medir quando os modelos dão suporte fiel a aprendizagem e avaliação de políticas, entender seus limites e corrigir onde falham. Portanto, os checkpoints devem ser tratados como instrumentos de pesquisa e desenvolvimento, não como uma certificação de segurança para veículos ou robôs.

Como os quatro checkpoints se dividem

CheckpointEntrada principalSaídaUso mais indicado
Transfer-AutoMapas de cenário por câmera, texto, imagens iniciais e controles LiDAR opcionaisDados multivista de direção e RGB–LiDARAumentar conjuntos de dados e adaptar o modelo a uma frota ou domínio
Sim-AutoHistórico gerado, controles de direção e condições de cenaFluxo contínuo de câmera e LiDARSimulação interativa e rollouts longos
Sim-TransferEstado espacial produzido por simulador e prompt textualVídeo RGB fotorrealistaUsar física de um simulador com observação visual gerada
Sim-BimanualImagem inicial, ações do robô ou da câmeraPróximas observações de vídeoManipulação e navegação visual com dois braços
Os quatro exemplos de pós-treinamento do Cosmos 3 Nano atendem problemas de simulação distintos.

Direção autônoma: da diversidade visual ao sensor sincronizado

Transfer-Auto para dados offline

O Transfer-Auto é voltado à geração de dados sintéticos de direção. A documentação informa que ele pode produzir vídeo sincronizado em até 11 vistas de câmera e combinar RGB com LiDAR. Mapas de cenário por câmera descrevem estrutura e movimento do trânsito; prompts de texto controlam atributos visuais, como clima, iluminação e horário. O fluxo também aceita imagens RGB iniciais para ancorar a aparência e mapas de alcance alinhados a mapas de alta definição quando há geração de LiDAR.

Na prática, a proposta permite criar variações controladas de uma mesma situação: cruzamento com sinalização diferente, mudança de iluminação, chuva, neblina ou configuração de tráfego. Para equipes que trabalham com veículos, a etapa de adaptação é central: a NVIDIA recomenda pós-treinar o checkpoint com o próprio conjunto de sensores, arranjo de câmeras, configuração de LiDAR e ambiente-alvo. Um modelo genérico não passa a representar automaticamente a geometria e a distribuição de dados de uma frota específica.

Sim-Auto para interação contínua

O Sim-Auto deriva do caminho de adaptação do Transfer-Auto, mas foi treinado de forma causal e destilada para gerar blocos menores em poucos passos de remoção de ruído. Ele usa o histórico que acabou de gerar e novos controles de direção para continuar a sequência. Para um ciclo fechado completo, ainda é necessário um runtime de simulação e um renderizador de World Scenario Map que atualize os controles conforme as entradas de direção. Em outras palavras: o checkpoint fornece a observação gerada; o sistema ao redor ainda precisa calcular estado, ação e controles.

Demonstração oficial do Cosmos 3 publicada no artigo de origem.

Robótica: duas formas de ligar física e percepção

O Sim-Transfer parte de uma premissa útil: um simulador convencional já pode calcular movimento, contatos e estado físico com precisão explícita. Em vez de pedir ao modelo generativo que substitua esse núcleo, ele recebe controles espaciais — profundidade, segmentação, contornos e uma representação aproximada de aparência — e transforma esses sinais em vídeo RGB. O texto orienta a aparência, enquanto a física e o estado de referência ficam no simulador.

O Sim-Bimanual segue outro caminho. Ele recebe uma imagem, ações de robô ou câmera e prevê a próxima observação. A versão publicada suporta exemplos com as plataformas YAM e AgiBot. A documentação alerta para detalhes que não podem ser tratados como acessórios: o exemplo misto usa 59 valores de controle, preenchidos para 64 no treinamento; o esquema define referenciais de coordenada, rotações, calibração de garras, máscaras de validade e domínios de controle. Além disso, T transições exigem T+1 observações. Uma integração que erra convenções de coordenada ou temporalidade pode parecer funcional em uma demonstração curta e falhar assim que a política precisar manter consistência.

Vídeo de demonstração incorporado da publicação oficial.
Exemplo visual do artigo original sobre o Cosmos 3 Nano.

Arquitetura e receita de treinamento

A família usa uma arquitetura de Mixture-of-Transformers, que conecta redes dedicadas ao processamento de texto e à geração visual por mecanismos de atenção. Em cada ciclo, o gerador combina prompt, controles disponíveis e histórico para prever um curto segmento; as imagens decodificadas passam a compor o contexto do próximo ciclo. A atenção causal impede acesso às observações-alvo futuras, e um cache de chaves e valores preserva informação de atenção entre previsões.

O modelo trabalha sobre representações comprimidas de vídeo, chamadas de latentes. Segundo a descrição técnica, após a imagem inicial cada passo temporal latente representa quatro quadros RGB. O Transfer gera um passo por trecho; a configuração Bimanual otimizada no relatório pode gerar dois. Blocos menores tornam os controles novos mais frequentes, mas exigem uma arquitetura capaz de preservar coerência no histórico.

A receita divulgada tem quatro estágios: adaptação bidirecional ao domínio e à relação controle-vídeo; teacher forcing para prever cada bloco usando observações anteriores gravadas; destilação de consistência com um professor congelado para reduzir a geração a quatro etapas de remoção de ruído; e self-forcing, que treina o aluno sobre seu próprio histórico gerado. O último ponto ataca um problema clássico dos modelos autoregressivos: um pequeno erro em um objeto pode virar contexto e se amplificar em quadros posteriores.

Outra mídia de apoio disponibilizada pela fonte primária.

Requisitos, instalação e limites operacionais

A página oficial lista Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit como requisitos do ambiente. A configuração publicada com vLLM-Omni foi testada em uma GB200, mas a NVIDIA deixa explícito que isso não é uma especificação mínima de memória. Os pesos são baixados pelo servidor e os clientes obtêm entradas de exemplo. Antes de planejar uma implantação, uma equipe deve validar a disponibilidade real de VRAM, armazenamento, rede e compatibilidade de drivers em seu ambiente.

Também há uma separação importante entre testar e treinar. Os checkpoints de inferência exportados não incluem otimizador nem outros estados necessários para retomar treinamento. Para adaptação, a orientação é preservar checkpoints completos, validar uma amostra de dados, executar e reiniciar um teste curto antes de um ciclo longo e medir resultados em episódios separados do treinamento. Uma execução curta bem-sucedida verifica o pipeline; não prova convergência, fidelidade física ou segurança da política resultante.

Licença, segurança e avaliação responsável

Os quatro checkpoints usam a OpenMDW 1.1. Isso é mais permissivo do que disponibilizações exclusivamente acadêmicas, mas “pesos abertos” não significa ausência de obrigações: quem pretende distribuir, adaptar ou integrar os modelos em produto deve ler integralmente os termos da licença e as condições aplicáveis aos componentes do stack. A página de origem não transforma automaticamente dados de direção, dados de robôs ou mapas em material livre de requisitos de privacidade, propriedade intelectual e segurança operacional.

Há ainda uma limitação metodológica: vídeo sintetizado pode preservar aparência sem preservar causalidade suficiente para a tarefa. Para direção, a validação deve incluir situações críticas, consistência entre vistas e sensores, sinalização, geometrias fora da distribuição e comportamento em sequências longas. Para robótica, é necessário medir contato, oclusão, trajetórias, mudança de ponto de vista e discrepância entre observação gerada e sensores reais. O uso mais prudente é combinar dados gerados com conjuntos reais, ambientes de teste e critérios de falha explícitos.

Análise do NoticIA: a abertura está no pós-treinamento, não no checkpoint isolado

Na análise do NoticIA, a parte mais estratégica do lançamento não é simplesmente disponibilizar quatro modelos de 16 bilhões de parâmetros. É expor uma cadeia de trabalho que começa na adaptação a sensores e domínios próprios, passa por treinamento causal e destilação, e termina em uma simulação que pode responder a ações. Isso oferece uma referência concreta para laboratórios, montadoras, integradores de robótica e universidades brasileiras que já possuem dados de sensores, mas não dispõem de recursos para partir de um modelo de mundo do zero.

Ao mesmo tempo, o patamar de infraestrutura impede que o anúncio seja lido como ferramenta pronta para qualquer desenvolvedor. Linux, GPU NVIDIA, Docker, toolkit de contêineres, dados sincronizados e uma etapa de avaliação rigorosa formam um projeto de engenharia e pesquisa. O ganho real virá para equipes capazes de conectar o modelo a controles bem definidos, contratos de dados consistentes e métricas que não confundam realismo visual com confiabilidade para tomada de decisão.

Vídeo final de apoio da publicação da NVIDIA no Hugging Face.

O que acompanhar a partir de agora

Os checkpoints, os notebooks e as receitas de pós-treinamento estão concentrados na coleção Cosmos 3 no Hugging Face. Para avaliar a maturidade prática, vale observar reproduções independentes, documentação de requisitos de memória, benchmarks que comparem dados gerados e reais e resultados em cenários de longa duração. A contribuição mais promissora do Cosmos 3 Nano é oferecer uma base aberta para esse tipo de teste; a evidência de que ele melhora uma política específica ainda precisa ser demonstrada por cada aplicação.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário