LeRobot v0.6.0: world models, novos VLAs e o ciclo imaginar-avaliar-melhorar da robótica open-source

LeRobot v0.6.0: imaginar, avaliar e melhorar — o loop do aprendizado robótico se fecha

A Hugging Face lançou a versão 0.6.0 do LeRobot, sua biblioteca open-source para aprendizado de robótica, e a atualização é substancial: políticas que imaginam o futuro antes de agir, modelos de recompensa que dizem quando o robô teve sucesso, uma CLI de deployment que transforma falhas em dados de treinamento e seis novos benchmarks de simulação.

World models: políticas que imaginam antes de agir

O grande destaque desta versão são os world model policies — modelos que aprendem a prever o futuro visual antes de decidir qual ação tomar. Três implementações foram integradas:

• VLA-JEPA: arquitetura que aprende representações preditivas do mundo a partir de vídeos de robôs, permitindo antecipar consequências de ações.
• FastWAM: modelo de mundo rápido e eficiente, otimizado para inferência em tempo real durante a execução de tarefas.
• LingBot-VA: combina instruções em linguagem natural com raciocínio visual para manipulação robótica.

O princípio é simples e poderoso: em vez de reagir cegamente ao frame atual, o robô imagina múltiplos futuros possíveis, avalia qual deles atinge o objetivo e então age. Esse loop “imaginar-avaliar-melhorar” fecha o ciclo de aprendizado que antes era fragmentado entre ferramentas separadas.

Novos VLAs e modelos de recompensa

A biblioteca agora suporta cinco novos modelos VLA (Vision-Language-Action): GR00T N1.7 (NVIDIA), MolmoAct2, EO-1, EVO1 e Multitask DiT. Todos são carregáveis com poucas linhas de código e funcionam com os datasets já disponíveis no hub do Hugging Face.

Na parte de avaliação, dois modelos de recompensa foram adicionados: Robometer e TOPReward. Eles permitem quantificar automaticamente se uma tentativa do robô foi bem-sucedida — essencial para treinamento com aprendizado por reforço em larga escala, onde avaliação manual não escala.

Treinamento em nuvem e deployment simplificado

O LeRobot agora suporta treinamento distribuído com FSDP (Fully Sharded Data Parallel) e integração direta com Hugging Face Jobs para treinamento em nuvem. A nova CLI lerobot-rollout permite deploy com correções human-in-the-loop no estilo DAgger — o operador corrige o robô durante a execução e cada correção vira automaticamente um novo exemplo de treinamento.

Seis novos benchmarks de simulação foram unificados sob o comando lerobot-eval, cobrindo tarefas de manipulação, navegação e montagem.

Datasets mais ricos e carregamento 2x mais rápido

Os datasets agora suportam depth sensing de ponta a ponta, anotação automática de linguagem via VLMs e codecs de vídeo customizáveis — o usuário escolhe o codec que melhor equilibra qualidade e tamanho para seu caso de uso. O carregamento de dados ficou até 2x mais rápido, e a instalação está significativamente mais enxuta, com menos dependências obrigatórias.

Com mais de 800 datasets registrados no hub, o LeRobot 0.6.0 se consolida como a plataforma mais completa para pesquisa e desenvolvimento em robótica open-source — e o ciclo “imaginar, avaliar, melhorar” representa uma mudança de paradigma que aproxima a robótica do mesmo salto que os LLMs deram quando aprenderam a raciocinar antes de responder.