Um LLM consegue esquecer as coisas certas? O runtime de CUDA que decide o que lembrar

Quando você aponta um LLM tradicional para a câmera de um robô em tempo real, três coisas quebram ao mesmo tempo: a VRAM transborda com um fluxo de visão que nunca termina, os prazos do laço de controle são perdidos silenciosamente e uma câmera de 60Hz ultrapassa facilmente uma etapa de raciocínio muito mais lenta. Essa é a premissa de um projeto que explora uma pergunta incomum: um LLM consegue esquecer as coisas certas?

O autor Anubhab Banerjee publicou uma arquitetura de runtime de inferência em CUDA escrito à mão para robôs de Visão-Linguagem-Ação (VLA) que decide o que lembrar, o que esquecer e quando simplesmente já é tarde demais para pensar. Cada ciclo de raciocínio tem exatamente 33 milissegundos para terminar — ou nem começa.

As três soluções do runtime

O projeto vla-edge-backend ataca os três problemas com três mecanismos:

• Controlador de admissão — estima o custo de um bloco de raciocínio com uma média móvel exponencial online e se recusa a iniciá-lo, em vez de apostar no prazo de 33ms;
• Cache KV que evicta por significado — remove o frame mais redundante por similaridade de cosseno, em vez de simplesmente descartar o mais antigo;
• Double buffer livre de bloqueio — a percepção nunca fica presa a um backlog antigo.

Um transformer inteiro em CUDA puro

O mais impressionante: todo o transformer para o modelo Qwen2.5-Coder-1.5B-Instruct — RMSNorm, RoPE, atenção com consulta agrupada (GQA) e SwiGLU — foi escrito à mão em CUDA, sem cuBLAS e sem libtorch. O resultado foi validado contra um forward pass real do HuggingFace com similaridade de cosseno igual ou superior a 0,999.

A parte honesta

O autor é transparente: o post é uma arquitetura, não um benchmark. Foi construído em uma única GPU NVIDIA Hopper em nuvem (sm_90), e o teto de 8GB de VRAM é um orçamento modelado no código, não um número medido em uma placa de borda como a Jetson. Ainda assim, a discussão sobre gerenciamento de memória seletivo toca num tema central para a era dos agentes: à medida que modelos precisam reter contexto por períodos cada vez mais longos, decidir o que lembrar — e o que esquecer — vira tão importante quanto o próprio raciocínio.