Treino assíncrono de GRPO em GPUs serverless reduz custo de RL

O treinamento por GRPO (Group Relative Policy Optimization) é uma das técnicas que impulsionaram modelos de raciocínio como o DeepSeek-R1. Mas o custo de executar reinforcement learning em clusters reservados de GPUs é alto. Um artigo de engenharia do PastAGI propõe uma alternativa: treinar GRPO de forma assíncrona em GPUs serverless, trocando as coletivas do NCCL por armazenamento de objetos e um proxy leve.

De cluster reservado para spot elástico

A ideia central é transformar o fine-tuning por RL de um gasto fixo de cluster em economia de GPUs spot elásticas. O autor deixa claro que se trata de uma troca deliberada, não de um remendo para quem não tem infraestrutura: abre-se mão do all-reduce com staleness zero do NCCL e ganha-se liberdade de agendamento, preços de spot e isolamento de falha por worker — em vez de perder o job inteiro numa única preempção.

Por que o LoRA muda a equação

O segredo está no LoRA. A adaptação de baixa ordem reduz a sincronização de pesos de gigabytes para dezenas de megabytes, permitindo que uma única GPU segure o learner inteiro. O artigo recomenda fazer as contas para um modelo típico de 7B antes de decidir se a tabela de custos é “inteligente ou absurda”, já que o resultado depende inteiramente do tamanho do payload.

O “imposto de staleness” do treino assíncrono

Treinar de forma assíncrona introduz defasagem entre os rollouts e o estado atual do modelo. Para contê-la, o artigo sugere duas práticas: limitar a janela — carimbando cada rollout com a versão do adaptador e descartando lotes defasados em mais de algumas atualizações — e vigiar os importance ratios, já que amostras encostando nos limites de clip indicam que a distância efetiva de política está larga demais.

Quando o nó reservado ainda vence

O artigo também é honesto sobre os limites da abordagem. No full fine-tuning, quando as sincronizações voltam a 14 GB (mais o estado do otimizador), o bucket vira o gargalo e o all-reduce sobre NVLink é a ferramenta certa. A arquitetura assíncrona só funciona porque o LoRA existe — sem ele, o custo de comunicação inviabiliza a troca.

Um checklist para quem vai construir

O texto oferece uma dica prática de monitoramento: a taxa de rejeição funciona como um alarme de drift. Quando ela sobe, a janela está larga demais ou a sincronização de adaptadores está lenta demais — e isso aparece ali antes de qualquer métrica de qualidade se mover. É o tipo de sinal que permite ajustar o pipeline antes de queimar tempo e dinheiro de GPU.