Kyutai lança REKI, VLA aberto que dá memória curta a robôs

A Kyutai apresentou em outubro de 2026 o REKI, um modelo visão-linguagem-ação (VLA) de 2,4 bilhões de parâmetros para robôs manipuladores. O projeto tenta resolver um problema recorrente da robótica baseada em IA: o robô enxerga o estado atual, mas sem uma memória curta pode alternar indefinidamente entre duas ações aparentemente plausíveis. A proposta adiciona memória ao componente que gera ações, sem reprocessar imagens passadas, e foi lançada com código, pesos e pipeline de treinamento baseados exclusivamente em dados públicos.

Na prática, o anúncio importa menos pelo número de parâmetros do que pela combinação de três escolhas: uma arquitetura reproduzível, medições detalhadas de latência e uma memória que, segundo a equipe, reduz movimentos oscilatórios em tarefas de bancada. Ainda não é prova de que o REKI esteja pronto para chão de fábrica ou para ambientes domésticos não controlados, mas é um avanço relevante para pesquisa aberta em modelos que conectam visão, linguagem e movimento físico.

Em resumo

• REKI é um VLA de 2,4 bilhões de parâmetros desenvolvido por pesquisadores da Kyutai, Inria e École nationale des ponts et chaussées.
• O modelo combina um backbone visual e linguístico Qwen3.5-2B com um especialista de ações de 200 milhões de parâmetros baseado em flow matching.
• A memória usa 32 tokens de registro no especialista de ações; as chaves e valores desses tokens são mantidos em cache para os frames anteriores.
• Em testes divulgados pela Kyutai, o REKI alcançou 90,4% no LIBERO-Plus, 65,8% no RoboTwin Clean2Rand e 38,4 no RoboCasa365.
• O código, pesos pré-treinados e versões ajustadas para benchmarks foram disponibilizados publicamente.

O que é um VLA e por que memória curta muda o problema

Um modelo visão-linguagem-ação recebe imagens das câmeras de um robô, o estado do equipamento e uma instrução em linguagem natural, como “coloque a tigela no prato”. Em vez de responder apenas com texto, ele prevê uma sequência de ações: posições, rotações, abertura de garra e outros controles. É uma família de modelos central para braços robóticos, robôs móveis e humanoides porque tenta transformar percepção e instruções em comportamento físico.

O obstáculo é que uma imagem isolada nem sempre informa para qual direção o robô deve continuar. Dois estados visualmente parecidos podem exigir movimentos opostos. Sem histórico, uma política pode ir de uma pose A para uma pose B e, ao observar B, concluir que deve voltar para A. A Kyutai chama esse efeito de oscilação. No seu teste RoboTwin Clean, o grupo relata episódios oscilatórios em 18,6% das execuções sem memória e 4,1% com janela de memória de três frames.

Como a arquitetura do REKI registra o passado

O REKI usa um modelo visual-linguístico Qwen3.5-2B para codificar imagens e instrução. Esse contexto alimenta, por atenção cruzada, um especialista de ações de 200 milhões de parâmetros. A decisão de colocar a memória nesse especialista, e não no backbone visual-linguístico, é o núcleo técnico do projeto.

Em cada frame, 32 tokens de registro são colocados antes dos tokens de ação. Eles resumem a observação daquele instante e podem consultar os registros dos frames anteriores. Como esses registros não dependem nem da ação que está sendo refinada nem do passo de denoising, o modelo pode calcular o registro uma vez, guardar chaves e valores em cache e reutilizá-los. A equipe treina com janelas de três frames, separados por um segundo, e na inferência mantém uma janela deslizante dos dois frames anteriores.

Há uma consequência importante para custo computacional: abordagens de memória frequentemente precisam inserir frames antigos no modelo visual, executar o modelo sequencialmente ou adicionar um módulo externo. A Kyutai afirma que seu desenho evita reencodar imagens anteriores e não exige um módulo separado. Em uma medição específica, com duas imagens de 256×256, dez passos de Euler e uma GPU NVIDIA H100, a previsão de um bloco de ações levou 21,8 milissegundos; ler registros em cache acrescentou 0,1 ms quando a janela tinha três frames. Isso é uma referência de laboratório, não uma garantia de desempenho em qualquer robô, GPU ou câmera.

Resultados: onde o REKI foi testado

Os números publicados devem ser lidos dentro dos benchmarks escolhidos. No LIBERO-Plus, que altera fatores como câmera, posição inicial do robô, linguagem, iluminação, fundo, ruído e organização dos objetos, o REKI obteve 90,4% de sucesso. No RoboTwin Clean2Rand, que testa generalização de cenas limpas para cenários com variações de fundo, luz, objetos e altura de mesa, registrou 65,8%. No RoboCasa365, conjunto de tarefas de cozinha simulada, marcou 38,4.

A Kyutai compara esses resultados com modelos maiores e declara que o REKI estabelece uma nova fronteira de compromisso entre tamanho e desempenho nos cenários avaliados. Há qualificadores necessários. Os benchmarks têm robôs, câmeras, tarefas e protocolos próprios; cada modelo é ajustado para cada benchmark; e parte dos rivais usa dados proprietários ou internos. Portanto, o resultado não demonstra superioridade geral sobre todo VLA existente, nem mede confiabilidade prolongada em uma operação comercial. Ele mostra que, nos protocolos relatados, um modelo menor treinado com dados públicos pode ser competitivo.

Dados públicos e reprodutibilidade

Outro ponto forte do lançamento é a procedência declarada dos dados. O pré-treinamento foi feito durante 200 mil passos em 32 GPUs H100 usando uma mistura de conjuntos públicos de teleoperação robótica, manipulação humana egocêntrica e dados visão-linguagem. A página do projeto cita, entre outros, RoboSet, Galaxea, AgiBot World, DROID, BridgeData V2, RT-1, BC-Z, EgoDex, EgoVerse, FineVision, LLaVA-OneVision-1.5, RoboPoint, RefSpatial e PixMo.

“Público” não elimina automaticamente questões de licença, qualidade ou viés dos dados, mas melhora a auditabilidade em comparação com modelos treinados em coleções não divulgadas. A Kyutai também preserva a convenção de controle nativa de cada conjunto em vez de converter tudo para um único espaço de ações. Isso pode preservar características de cada robô, embora torne a engenharia de integração mais exigente.

O que foi liberado e como pesquisadores podem testar

A Kyutai informa ter liberado o repositório de código, o processamento de dados, treinamento, inferência, avaliação e um servidor de política para robôs reais. Também publicou checkpoints do modelo pré-treinado e versões ajustadas para LIBERO, RoboTwin, RoboCasa365 e RoboCasa-GR1. A documentação apresenta carregamento do checkpoint com a biblioteca reki, reset da memória a cada episódio e previsão de ações a partir de imagens, estado proprioceptivo e instrução.

Para equipes brasileiras de pesquisa, integradores e laboratórios, a disponibilidade reduz a barreira para reproduzir medições, testar generalização em objetos locais e comparar a técnica com políticas já usadas. O custo continua alto: os resultados de latência mais favoráveis foram medidos em H100, uma GPU de data center. A implantação em hardware mais acessível exigirá avaliar tempo de resposta, precisão de câmera, segurança da célula robótica e comportamento após falhas de percepção.

Demonstrações em robôs reais

A equipe também divulgou demonstrações em um braço UR5 ajustado com 50 demonstrações por tarefa. Elas são úteis para visualizar a proposta, mas não substituem uma avaliação independente: a própria página informa ajuste por 3 mil passos, cerca de uma hora de treinamento, e as sequências são apresentadas em velocidade três vezes maior.

Limitações que o anúncio não resolve

• Validação em laboratório não é validação industrial: os benchmarks não cobrem todas as variações de superfícies, reflexos, desgaste mecânico, pessoas próximas e exceções de uma operação real.
• Memória curta não é planejamento de longo prazo: manter dois frames anteriores ajuda a desambiguar movimento, mas não substitui planejamento de tarefa, checagem de metas ou regras de segurança.
• Latência depende de infraestrutura: 21,8 ms é uma medição em H100, com entradas e configuração específicas; não deve ser extrapolada diretamente para PCs comuns ou hardware embarcado.
• Reprodutibilidade exige mais que pesos: para comparar resultados, é preciso reproduzir dados, pré-processamento, calibração, protocolo de avaliação e ambiente de execução.

Análise do NoticIA: eficiência passa a ser uma tese de produto para robótica aberta

Na análise do NoticIA, o ponto mais interessante do REKI não é apenas competir com modelos maiores. É tratar memória como uma peça de engenharia de inferência. Se o histórico pode ser preservado em registros baratos, sem repetir a codificação visual, a adoção de VLAs pode se aproximar de requisitos de controle em tempo real sem depender de arquiteturas cada vez mais pesadas.

Essa hipótese ainda precisa sobreviver fora dos benchmarks. Em especial, será relevante ver se a mesma técnica mantém ganhos com câmeras ruidosas, tarefas longas, múltiplos objetos em movimento e plataformas de hardware diferentes. Mas a abertura de pesos, código e pipeline oferece à comunidade uma forma concreta de testar essa pergunta. Para a robótica aberta, isso é mais útil do que uma demonstração isolada: transforma uma alegação de eficiência em algo que pode ser auditado, refutado ou adaptado.

O que acompanhar a seguir

Os próximos sinais de maturidade serão reproduções independentes, testes em robôs além dos benchmarks divulgados e comparações justas em hardware mais próximo do que laboratórios e empresas conseguem adquirir. Também vale observar se os mecanismos de memória por registros aparecem em outros VLAs e se reduzem não apenas oscilações, mas erros de recuperação após uma manipulação incompleta. O REKI não encerra o problema de dar memória a robôs; ele oferece uma abordagem aberta e mensurável para atacá-lo.