Grabette: o sistema aberto que grava dados de robótica sem precisar de robô
O aprendizado de robôs tem um problema de abastecimento. Temos arquiteturas de políticas cada vez mais capazes — VLAs baseados em transformers, políticas de difusão e flow-matching, até world models — e GPUs para treiná-las. O que falta são dados de manipulação do mundo real em grande escala e diversidade.
A solução apresentada pela Hugging Face e pela Pollen Robotics é contraintuitiva: você não precisa de um robô para coletar dados de robô. Basta uma mão humana, uma garra, uma câmera e um jeito de recuperar a trajetória 6-DoF do que a mão fez. É exatamente isso que o Grabette faz.
O que é o Grabette
O Grabette é uma garra manual instrumentada e open source, projetada para gravar demonstrações de tarefas de manipulação. Pegue o dispositivo, execute uma tarefa com sua própria mão, e receba de volta um dataset limpo, pronto para treinar robôs. Sem robô, sem laboratório, sem setup de teleoperação.
O dispositivo carrega duas câmeras com funções distintas: uma fisheye grande-angular barata que fornece a visão rica em contexto (estilo câmera de pulso), e uma câmera RGBD que faz o trabalho pesado de rastreamento robusto de trajetória 6-DoF.
O custo de material (BOM) é de aproximadamente € 490. O sistema inclui ainda a Gripette, uma garra robótica gêmea motorizada (~€ 120) que fecha o ciclo em um braço de robô real ou simulado.
Inspirado no UMI de Stanford
O projeto se inspira diretamente no Universal Manipulation Interface (UMI) de Stanford: uma garra manual com câmera olho de peixe que grava demonstrações “in the wild”, recupera trajetórias com SLAM e treina políticas visuomotoras a partir delas. O UMI provou que a receita funciona. Dispositivos similares existem, mas são fechados — como a garra MEgo da Agibot, a DAS da Genrobot e a luva de captura da Sunday Robotics.
“Nosso objetivo foi tornar o uso sem esforço”, explicam os criadores. “Levar a barreira de ‘eu tenho uma tarefa’ para ‘eu tenho um modelo treinado’ o mais baixo possível.”
Pipeline no navegador, sem instalar nada
O fluxo é simples: grave e depois processe, diretamente no navegador. Aperte o botão no dispositivo e os dados da câmera de observação, câmera de rastreamento (cor, profundidade e IMU) e valores do encoder da garra são gravados simultaneamente com um relógio único. Aperte de novo para parar.
Depois, abra o dashboard do Grabette no navegador, selecione os episódios que quer incluir no dataset, e com um clique o pós-processamento começa:
- Os episódios são enviados para o Hugging Face Hub
- O Space grabette-slam executa SLAM via biblioteca RTAB-MAP e verifica se a trajetória está correta
- Os episódios são convertidos para o formato LeRobot
- Um novo dataset é carregado no seu Space, pronto para visualização e treinamento
Da demonstração ao robô real
Para fechar o ciclo, os criadores incluíram um exemplo completo com 200 demonstrações que treina uma política de difusão (ResNet18 + SpatialSoftmax, scheduler DDIM, ações de rotação 6-D) no LeRobot e a avalia em um braço OpenArm 7-DoF com a garra Gripette. O treinamento cabe em uma única GPU de consumo.
Por que isso importa
O gargalo de dados da robótica não será resolvido por um único laboratório, mas por uma comunidade gravando demonstrações em todos os lugares. Com o Grabette, qualquer pessoa pode contribuir: monte o dispositivo, grave tarefas do seu interesse e compartilhe no Hub. Cada episódio torna o dataset aberto maior e mais diverso, e cada contribuidor torna o aprendizado de robôs um pouco menos restrito a hardware caro.
O projeto já tem próximos passos planejados, incluindo a Casquette — um dispositivo POV montado na cabeça para captura egocêntrica (ainda em desenvolvimento). Mas o próximo passo mais importante, segundo os criadores, não é deles: é dos usuários. “Comecem a gravar, e vamos construir esse dataset juntos.”
Todo o projeto está disponível no GitHub: hardware CAD, software de captura no Raspberry Pi, pipeline de processamento e stack de exemplo para treinamento.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
