Recurrent Looped Transformer: arquitetura de Princeton carrega o estado do decoder entre os tokens

O que é o Recurrent Looped Transformer

Na maioria dos grandes modelos de linguagem (LLMs) do tipo decoder-only — os mesmos que alimentam ChatGPT, Claude e Gemini — existe uma limitação estrutural pouco comentada: nada do que é calculado na última camada de um token alimenta a primeira camada do token seguinte. A comunicação entre posições acontece apenas por meio da atenção sobre as chaves e valores armazenados em cache. Um novo relatório técnico de Yifan Zhang, pesquisador da Universidade de Princeton, propõe fechar esse ciclo com o Recurrent Looped Transformer (RLT).

A proposta carrega o estado oculto final do decoder — junto com o cache de atenção de janela deslizante (SWA), camada por camada — para o próximo token, tanto no prompt quanto na resposta, sem resetar na fronteira entre os dois.

Importante: trata-se de uma especificação de design. O relatório não apresenta resultados medidos de eficiência, qualidade de raciocínio ou escalabilidade. Isso precisa ficar claro desde o início para não inflar expectativas.

Como a arquitetura funciona

O RLT combina um encoder causal com um decoder recorrente. O encoder processa os tokens em paralelo sob máscara causal e produz representações, das quais a memória de chave-valor é projetada. O decoder concentra a recorrência: seu estado completo é formado pela saída final e pelo cache SWA retido em cada camada.

A cada token, uma fusão com gate combina a representação do encoder com a saída anterior, e cada bloco do decoder executa atenção de janela deslizante sobre as ativações, atenção cruzada com a memória do encoder e uma rede feed-forward.

Na configuração de referência, são 48 camadas de encoder e 48 de decoder, com pesos de atenção e FFN compartilhados entre elas. Cada token executa, portanto, 96 blocos lógicos — embora os blocos do decoder tenham atenção cruzada adicional, então o custo por bloco não é idêntico. Zhang chama isso de reuso de parâmetros, não de cópia de ativações.

Os três princípios de design

• Raciocínio latente com profundidade temporal ilimitada: após processar t tokens, o caminho de estado atravessa 48t blocos de decoder na configuração de referência. O trabalho por token permanece fixo, mas a profundidade estrutural cresce com a sequência. O relatório alerta que gates e contração podem suprimir caminhos longos — profundidade estrutural não é garantia de raciocínio.
• Codesign modelo-hardware: as projeções do encoder usam kernels paralelos por token, enquanto as transições do decoder permanecem sequenciais. O relatório não assume varredura paralela exata nem reivindica aceleração de prefill.
• Codesign modelo-RL: pré-treinamento, SFT e replay de aprendizado por reforço compartilham a mesma transição de estado, o que formaliza a consistência do processo de treinamento.

Por que isso importa agora

A ideia dialoga com uma direção crescente na pesquisa: reduzir o custo de memória em inferência e permitir formas de “raciocínio latente” que não dependem apenas de gerar mais tokens. O RLT se conecta a trabalhos anteriores como YOCO, DeepSeek-V4.1-Flash, Feedback Transformer e Universal Transformers.

Para o ecossistema brasileiro de IA — de startups que rodam modelos em servidores próprios a times que acompanham a fronteira de pesquisa — o interesse prático está no potencial de reduzir cache e habilitar profundidade de raciocínio sem inflar a janela de contexto. Mas, como a própria fonte ressalta, tudo isso ainda é promessa: eficiência, qualidade e escalabilidade continuam em aberto.