DeicticVLA: um só modelo de robô entende comando por voz, por gesto ou pelos dois

Um modelo, três formas de instrução

Dar ordens a um robô apenas apontando para o objeto desejado — em vez de descrevê-lo em palavras — é uma forma natural de interação que muitos sistemas atuais não suportam. Um novo preprint de pesquisadores japoneses apresenta o DeicticVLA, um modelo de robótica do tipo visão-linguagem-ação (VLA) que aceita três modos de instrução com uma única rede: só linguagem, linguagem mais gesto, ou só gesto.

O segredo está em transformar os três modos numa representação compartilhada composta por um prompt de texto e por máscaras dêiticas — a parte da entrada que marca o alvo indicado pelo gesto. Assim, o mesmo modelo recebe palavras, uma indicação visual ou ambos, sem precisar de arquiteturas separadas.

O gesto resiste melhor ao que o robô nunca viu

Nos testes em robô físico, a vantagem dos modos com gesto apareceu com força quando o enunciado era desconhecido. Na tarefa PickBlock, com formulações de instrução nunca vistas no treino, o modo só-linguagem acertou entre 12,5% e 18,8%. Com gesto, os mesmos cenários subiram para 62,5% a 93,8%. Em objetos de categorias novas, os modos com gesto chegaram a 100% de sucesso, contra 16,7% do modo só-linguagem.

Em simulação, os quatro métodos de entrada testados ficaram empatados em tarefas já conhecidas (94% a 96% de sucesso), mas as diferenças reais emergiram em testes de generalização — exatamente onde o gesto compensa a ambiguidade da linguagem.

Limites honestos

O estudo reporta taxas de sucesso descritivas, sem intervalos de confiança ou testes estatísticos, e não identifica um método de entrada vencedor universal. É uma versão 1 de preprint, financiada pelo programa Moonshot R&D do Japão. Ainda assim, a direção é clara: para robôs que operam no mundo físico, permitir apontar — em vez de apenas falar — pode ser o caminho mais robusto para instruções novas.