Feedback em lista pode rivalizar com comparação par a par no aprendizado de robôs

Um estudo sobre aprendizado de robôs descobriu que ranquear várias observações visuais de uma só vez pode ser uma alternativa competitiva à comparação de observações em pares. Nas tarefas de abrir gaveta, fechar porta e apertar botão, ao menos um tamanho de ranking em lista igualou ou superou os demais métodos na taxa média de sucesso.

O problema e o método

A pergunta central era se um modelo de recompensa visual poderia aprender com preferências de um VLM em formato de lista, usando o objetivo de Plackett–Luce — uma forma de aprender a partir de uma lista ordenada de escolhas. A estrutura combina preferências geradas por um VLM com um modelo de recompensa Plackett–Luce dentro de um loop de aprendizado por reforço.

O benchmark usou três tarefas do Meta-World (abrir gaveta, fechar porta e apertar botão), escolhidas por serem tarefas de manipulação de objetos visualmente interpretáveis. Nos experimentos principais, o modelo GPT-5.6 Luna gerou os rankings visuais, usando o detalhe original das imagens e sem esforço de raciocínio. Os métodos em lista usaram tamanhos de ranking de 3, 4 ou 5, enquanto os métodos par a par ficaram limitados a 2.

Resultados que dependem da tarefa

Em abrir gaveta, a linha de base RL-VLM-F teve a maior taxa final de sucesso, com 92%. O treinamento em lista com ranking de tamanho quatro alcançou 86%, empatando com a linha de base Oracle. Em fechar porta, a ordem mudou: o treinamento em lista com cinco observações chegou a 54% de sucesso final médio, contra 47% da linha de base BT-Kwise no mesmo tamanho. Apertar botão foi menos consistente.

O achado é relevante porque ranquear mais observações por iteração pode reduzir o custo de coleta de feedback humano — ou de um VLM — sem sacrificar a qualidade do aprendizado, um gargalo conhecido em robótica com aprendizado por preferências.