MA-VLA combina planejamento e ação para robôs de múltiplos braços

Fazer dois braços robóticos cooperarem numa tarefa que nunca viram durante o treinamento é um dos desafios abertos da robótica com IA. Um preprint apresenta o MA-VLA, um modelo que combina planejamento em linguagem de visão com execução de ação, e reporta resultados superiores ao Pi0 em benchmarks simulados — incluindo sucesso diferente de zero em padrões de colaboração multi-braço ausentes do treinamento.

Planejador e executor

O MA-VLA divide uma instrução compartilhada em duas partes: um planejador de modelo de visão-linguagem converte a instrução em submetas atômicas ordenadas no tempo para cada braço, e um executor de visão-linguagem-ação ancorá essas submetas em ações robóticas. A pergunta central do estudo é se o sistema consegue recombinar ações atômicas conhecidas em padrões de colaboração que não estavam no treinamento.

Os experimentos comparam o treinamento “limpo” (sem augmentações) com o treinamento “regularizado”, que ativa Arm Shuffle e View Dropout.

Médias mais altas nos benchmarks listados

No RoboFactory, o MA-VLA reportou médias de 83,5% e 83,3% nos blocos de tarefas listados, contra 80,3% e 76,5% do Pi0. No RoboTwin 2.0 (Hard), os valores foram 49,0 para o MA-VLA e 41,1 para o Pi0. Os dados de treinamento em simulação incluíram 150 demonstrações de especialista por tarefa, e cada configuração foi avaliada em 100 execuções.

O teste mais difícil: padrões fora do treinamento

Em tarefas de simulação envolvendo padrões de colaboração ausentes do treinamento, todos os baselines listados reportaram 0,0 de sucesso médio, enquanto o MA-VLA reportou 13,0. Nos testes no mundo real com a plataforma SO101 de braço duplo, o MA-VLA registrou 10 episódios bem-sucedidos de 20 numa tarefa, 8 de 20 noutra e 2 de 20 em cada uma das duas restantes; o Pi0 ficou em 0 de 20 em todas as tarefas fora de domínio. Um estudo de ablação mostrou o efeito de cada componente: a configuração completa chegou a 15,3% fora de domínio e 53,0% em domínio, contra 0,0% e 48,0% sem os componentes adicionados.

Limitações claras

Os resultados descrevem avaliações selecionadas — dois benchmarks simulados e uma plataforma real — e não uma coordenação aberta. O escopo é restrito aos robôs, sensores, objetos e resoluções testados, e os números variam bastante entre configurações. Ainda assim, o trabalho aponta um caminho concreto: recombinar primitivas atômicas com augmentação regularizada pode ser uma rota mais barata para a colaboração multi-braço do que coletar demonstrações de cada combinação possível.