A NVIDIA publicou quatro checkpoints abertos da família Cosmos 3 Nano para gerar mundos simulados interativos voltados a robótica e direção autônoma. O conjunto, anunciado em 5 de novembro de 2026 no Hugging Face, cobre geração de dados sintéticos multivista, simulação contínua com câmera e LiDAR, tradução de controles de simuladores em vídeo fotorrealista e previsão visual das consequências de ações de robôs bimanipuladores. Os pesos têm 16 bilhões de parâmetros treináveis e são distribuídos sob a Open Model Development License 1.1 (OpenMDW 1.1), que permite usos comerciais e não comerciais dentro de seus termos.
O lançamento é relevante porque desloca uma parte do custo de criar e testar sistemas de IA física: em vez de depender apenas de coleta em ruas, galpões ou laboratórios, equipes podem produzir observações sintéticas condicionadas por controles de cena, sensores e ações. Isso não elimina a necessidade de validação no mundo real. Ele cria, porém, uma camada aberta para testar cenários raros, mudar condições ambientais e medir como uma política reage antes de colocá-la diante de pessoas, veículos e equipamentos.
Resumo: o que a NVIDIA lançou
- Cosmos3-Nano-Transfer-Auto: gera dados de direção offline, com vídeo sincronizado de até 11 câmeras — inclusive lentes fisheye — e suporte a geração conjunta de RGB e LiDAR.
- Cosmos3-Nano-Sim-Auto: é a variante de streaming para direção; gera pequenos trechos sucessivos de observações de câmera e LiDAR a partir de histórico e controles atualizados.
- Cosmos3-Nano-Sim-Transfer: transforma controles espaciais de um simulador, como profundidade, segmentação, bordas e aparência aproximada, em vídeo RGB.
- Cosmos3-Nano-Sim-Bimanual: prevê o próximo vídeo de uma cena diante de ações de robôs de dois braços ou de movimentos de câmera.
O que é um modelo de mundo — e o que ele não é
Um modelo de mundo é um sistema que tenta prever observações futuras a partir do estado conhecido, de controles e de ações. No caso do Cosmos 3 Nano, essas observações são principalmente sequências visuais e, em alguns casos, leituras LiDAR sincronizadas. O objetivo não é apenas produzir um vídeo convincente: é manter uma relação utilizável entre a ação aplicada, a estrutura da cena e o que um agente deve observar em seguida.
Essa diferença importa. Uma cena bonita, mas inconsistente com a geometria, com a sinalização ou com o movimento de um robô, tem pouco valor para treinar ou avaliar uma política. A própria NVIDIA ressalta que ainda é necessário medir quando os modelos dão suporte fiel a aprendizagem e avaliação de políticas, entender seus limites e corrigir onde falham. Portanto, os checkpoints devem ser tratados como instrumentos de pesquisa e desenvolvimento, não como uma certificação de segurança para veículos ou robôs.
Como os quatro checkpoints se dividem
| Checkpoint | Entrada principal | Saída | Uso mais indicado |
|---|---|---|---|
| Transfer-Auto | Mapas de cenário por câmera, texto, imagens iniciais e controles LiDAR opcionais | Dados multivista de direção e RGB–LiDAR | Aumentar conjuntos de dados e adaptar o modelo a uma frota ou domínio |
| Sim-Auto | Histórico gerado, controles de direção e condições de cena | Fluxo contínuo de câmera e LiDAR | Simulação interativa e rollouts longos |
| Sim-Transfer | Estado espacial produzido por simulador e prompt textual | Vídeo RGB fotorrealista | Usar física de um simulador com observação visual gerada |
| Sim-Bimanual | Imagem inicial, ações do robô ou da câmera | Próximas observações de vídeo | Manipulação e navegação visual com dois braços |
Direção autônoma: da diversidade visual ao sensor sincronizado
Transfer-Auto para dados offline
O Transfer-Auto é voltado à geração de dados sintéticos de direção. A documentação informa que ele pode produzir vídeo sincronizado em até 11 vistas de câmera e combinar RGB com LiDAR. Mapas de cenário por câmera descrevem estrutura e movimento do trânsito; prompts de texto controlam atributos visuais, como clima, iluminação e horário. O fluxo também aceita imagens RGB iniciais para ancorar a aparência e mapas de alcance alinhados a mapas de alta definição quando há geração de LiDAR.
Na prática, a proposta permite criar variações controladas de uma mesma situação: cruzamento com sinalização diferente, mudança de iluminação, chuva, neblina ou configuração de tráfego. Para equipes que trabalham com veículos, a etapa de adaptação é central: a NVIDIA recomenda pós-treinar o checkpoint com o próprio conjunto de sensores, arranjo de câmeras, configuração de LiDAR e ambiente-alvo. Um modelo genérico não passa a representar automaticamente a geometria e a distribuição de dados de uma frota específica.
Sim-Auto para interação contínua
O Sim-Auto deriva do caminho de adaptação do Transfer-Auto, mas foi treinado de forma causal e destilada para gerar blocos menores em poucos passos de remoção de ruído. Ele usa o histórico que acabou de gerar e novos controles de direção para continuar a sequência. Para um ciclo fechado completo, ainda é necessário um runtime de simulação e um renderizador de World Scenario Map que atualize os controles conforme as entradas de direção. Em outras palavras: o checkpoint fornece a observação gerada; o sistema ao redor ainda precisa calcular estado, ação e controles.
Robótica: duas formas de ligar física e percepção
O Sim-Transfer parte de uma premissa útil: um simulador convencional já pode calcular movimento, contatos e estado físico com precisão explícita. Em vez de pedir ao modelo generativo que substitua esse núcleo, ele recebe controles espaciais — profundidade, segmentação, contornos e uma representação aproximada de aparência — e transforma esses sinais em vídeo RGB. O texto orienta a aparência, enquanto a física e o estado de referência ficam no simulador.
O Sim-Bimanual segue outro caminho. Ele recebe uma imagem, ações de robô ou câmera e prevê a próxima observação. A versão publicada suporta exemplos com as plataformas YAM e AgiBot. A documentação alerta para detalhes que não podem ser tratados como acessórios: o exemplo misto usa 59 valores de controle, preenchidos para 64 no treinamento; o esquema define referenciais de coordenada, rotações, calibração de garras, máscaras de validade e domínios de controle. Além disso, T transições exigem T+1 observações. Uma integração que erra convenções de coordenada ou temporalidade pode parecer funcional em uma demonstração curta e falhar assim que a política precisar manter consistência.
Arquitetura e receita de treinamento
A família usa uma arquitetura de Mixture-of-Transformers, que conecta redes dedicadas ao processamento de texto e à geração visual por mecanismos de atenção. Em cada ciclo, o gerador combina prompt, controles disponíveis e histórico para prever um curto segmento; as imagens decodificadas passam a compor o contexto do próximo ciclo. A atenção causal impede acesso às observações-alvo futuras, e um cache de chaves e valores preserva informação de atenção entre previsões.
O modelo trabalha sobre representações comprimidas de vídeo, chamadas de latentes. Segundo a descrição técnica, após a imagem inicial cada passo temporal latente representa quatro quadros RGB. O Transfer gera um passo por trecho; a configuração Bimanual otimizada no relatório pode gerar dois. Blocos menores tornam os controles novos mais frequentes, mas exigem uma arquitetura capaz de preservar coerência no histórico.
A receita divulgada tem quatro estágios: adaptação bidirecional ao domínio e à relação controle-vídeo; teacher forcing para prever cada bloco usando observações anteriores gravadas; destilação de consistência com um professor congelado para reduzir a geração a quatro etapas de remoção de ruído; e self-forcing, que treina o aluno sobre seu próprio histórico gerado. O último ponto ataca um problema clássico dos modelos autoregressivos: um pequeno erro em um objeto pode virar contexto e se amplificar em quadros posteriores.
Requisitos, instalação e limites operacionais
A página oficial lista Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit como requisitos do ambiente. A configuração publicada com vLLM-Omni foi testada em uma GB200, mas a NVIDIA deixa explícito que isso não é uma especificação mínima de memória. Os pesos são baixados pelo servidor e os clientes obtêm entradas de exemplo. Antes de planejar uma implantação, uma equipe deve validar a disponibilidade real de VRAM, armazenamento, rede e compatibilidade de drivers em seu ambiente.
Também há uma separação importante entre testar e treinar. Os checkpoints de inferência exportados não incluem otimizador nem outros estados necessários para retomar treinamento. Para adaptação, a orientação é preservar checkpoints completos, validar uma amostra de dados, executar e reiniciar um teste curto antes de um ciclo longo e medir resultados em episódios separados do treinamento. Uma execução curta bem-sucedida verifica o pipeline; não prova convergência, fidelidade física ou segurança da política resultante.
Licença, segurança e avaliação responsável
Os quatro checkpoints usam a OpenMDW 1.1. Isso é mais permissivo do que disponibilizações exclusivamente acadêmicas, mas “pesos abertos” não significa ausência de obrigações: quem pretende distribuir, adaptar ou integrar os modelos em produto deve ler integralmente os termos da licença e as condições aplicáveis aos componentes do stack. A página de origem não transforma automaticamente dados de direção, dados de robôs ou mapas em material livre de requisitos de privacidade, propriedade intelectual e segurança operacional.
Há ainda uma limitação metodológica: vídeo sintetizado pode preservar aparência sem preservar causalidade suficiente para a tarefa. Para direção, a validação deve incluir situações críticas, consistência entre vistas e sensores, sinalização, geometrias fora da distribuição e comportamento em sequências longas. Para robótica, é necessário medir contato, oclusão, trajetórias, mudança de ponto de vista e discrepância entre observação gerada e sensores reais. O uso mais prudente é combinar dados gerados com conjuntos reais, ambientes de teste e critérios de falha explícitos.
Análise do NoticIA: a abertura está no pós-treinamento, não no checkpoint isolado
Na análise do NoticIA, a parte mais estratégica do lançamento não é simplesmente disponibilizar quatro modelos de 16 bilhões de parâmetros. É expor uma cadeia de trabalho que começa na adaptação a sensores e domínios próprios, passa por treinamento causal e destilação, e termina em uma simulação que pode responder a ações. Isso oferece uma referência concreta para laboratórios, montadoras, integradores de robótica e universidades brasileiras que já possuem dados de sensores, mas não dispõem de recursos para partir de um modelo de mundo do zero.
Ao mesmo tempo, o patamar de infraestrutura impede que o anúncio seja lido como ferramenta pronta para qualquer desenvolvedor. Linux, GPU NVIDIA, Docker, toolkit de contêineres, dados sincronizados e uma etapa de avaliação rigorosa formam um projeto de engenharia e pesquisa. O ganho real virá para equipes capazes de conectar o modelo a controles bem definidos, contratos de dados consistentes e métricas que não confundam realismo visual com confiabilidade para tomada de decisão.
O que acompanhar a partir de agora
Os checkpoints, os notebooks e as receitas de pós-treinamento estão concentrados na coleção Cosmos 3 no Hugging Face. Para avaliar a maturidade prática, vale observar reproduções independentes, documentação de requisitos de memória, benchmarks que comparem dados gerados e reais e resultados em cenários de longa duração. A contribuição mais promissora do Cosmos 3 Nano é oferecer uma base aberta para esse tipo de teste; a evidência de que ele melhora uma política específica ainda precisa ser demonstrada por cada aplicação.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
