NVIDIA Cosmos-H-Dreams leva simulação generativa em tempo real para robótica cirúrgica

Simulação cirúrgica generativa em tempo real: o salto do Cosmos-H-Dreams

A robótica cirúrgica está migrando rapidamente da teleoperação para políticas de visão-linguagem-ação cada vez mais autônomas. Mas treinar e avaliar esses sistemas continua sendo um gargalo brutal: plataformas robóticas físicas são caras, experimentos são difíceis de reproduzir e falhas podem danificar instrumentos ou tecido biológico. Simuladores convencionais oferecem uma alternativa mais segura, mas cenas cirúrgicas são notoriamente difíceis de modelar manualmente.

Nesta segunda-feira (27), a NVIDIA apresentou no Hugging Face o Cosmos-H-Dreams, um simulador generativo em tempo real para robótica cirúrgica que representa um avanço significativo na direção da IA física aplicada à saúde. O sistema transforma um modelo de fundação de mundo (world foundation model) em um ambiente interativo que uma pessoa ou uma política aprendida pode controlar em ciclo fechado — tudo rodando em uma única NVIDIA RTX PRO 6000.

Do modelo de mundo ao simulador interativo

O ponto de partida é o Cosmos-H-Surgical-Simulator, um modelo de mundo condicionado por ação construído sobre o Cosmos-Predict2.5-2B e pós-treinado no dataset Open-H-Embodiment. Dado um frame cirúrgico inicial e uma trajetória futura do robô, ele gera vídeo mostrando as consequências visuais prováveis dessas ações — útil para avaliação offline de políticas e geração de dados sintéticos.

O Cosmos-H-Dreams leva esse modelo para o regime de tempo real. O segredo está em um pipeline de destilação professor-aluno projetado para rollouts autorregressivos longos:

• Professor bidirecional: parte do checkpoint Open-H do Cosmos-H-Surgical-Simulator, usando uma representação unificada de 44 dimensões para ações do robô. É ajustado no dataset de sutura do da Vinci Research Kit (dVRK) da Johns Hopkins University, incluindo demonstrações bem-sucedidas e episódios de falha (agulhas derrubadas, pontos perdidos, nós malsucedidos). “Falhas são importantes: um simulador que avalia políticas precisa reproduzir as consequências de ações ruins, não apenas demonstrações ideais”, explicam os pesquisadores.
• Aquecimento causal: o estudante é inicializado a partir do professor e treinado para imitar trajetórias de denoising pré-computadas, aprendendo a operar com atenção causal e cache de chave/valor em streaming.
• Self-forcing distillation: técnica que resolve o problema de mismatch entre treino e deploy. Durante o treinamento, o estudante gera usando seu próprio contexto (não dados de ground-truth limpos), e a supervisão do professor congelado guia esses rollouts autogerados em direção a vídeo cirúrgico realista. O resultado: difusão de poucos passos — apenas dois passos de denoising por frame latente.

FlashDreams: 160 fps em uma única GPU

A destilação do modelo é apenas metade da história. O Cosmos-H-Dreams é servido através do FlashDreams, biblioteca de inferência acelerada da NVIDIA para modelos de mundo e vídeo autorregressivos. A combinação de cache KV em streaming, captura de CUDA Graph e compilação de modelo leva a performance de aproximadamente 160 quadros por segundo — um salto de cerca de 16× em relação ao regime de ~10 fps da inferência padrão do Cosmos-H-Surgical-Simulator.

O sistema também oferece interfaces homem-máquina: um cliente de navegador envia comandos de teclado e recebe frames gerados via WebRTC; um cliente Meta Quest mapeia movimento de controle rastreado em ações do robô e exibe a cena sintetizada via WebXR. O mesmo modelo também pode ser conectado a uma política cirúrgica aprendida, com observações geradas e ações preditas trocadas em ciclo fechado.

Adaptação e próximos passos

O checkpoint pré-treinado cobre sutura em mesa com o dVRK, mas o sistema foi projetado para ser extensível a qualquer plataforma robótica. A NVIDIA publicou um guia passo a passo completo para fine-tuning do professor e destilação self-forcing com dados próprios, além de demonstrar a integração com o controlador Versius da CMR Surgical em colaboração com a Cambridge Consultants.

O próximo horizonte técnico é ambicioso: criar uma nova família de benchmarks de ciclo fechado que avaliem precisão de pose da ponta da ferramenta, fidelidade do ciclo do gripper, estabilidade em repouso, diversidade de ações contrafactuais, deriva de longo horizonte e concordância entre resultados simulados e reais. A visão de longo prazo inclui telecirurgia com compensação de latência via modelo de mundo, ensaio cirúrgico interativo, planejamento de procedimentos e suporte à decisão intraoperatória.

A NVIDIA é clara sobre o escopo atual: “O Cosmos-H-Dreams é uma plataforma de pesquisa e desenvolvimento, não um sistema de diagnóstico, substituto para imagem intraoperatória ou controlador para um robô cirúrgico físico”. Mas a fundação está posta. Conforme a fidelidade do modelo, a estabilidade temporal e a eficiência de hardware continuarem melhorando, a simulação generativa em tempo real pode conectar educação cirúrgica, geração de dados sintéticos, treinamento de políticas e avaliação dentro de um único ambiente de IA Física.