SRPO: novo método de RL reporta ganhos sobre o GRPO com 3,8x menos computação

SRPO: novo método de aprendizado por reforço supera o GRPO usando 3,8x menos computação

Um pré-print no arXiv apresenta o SRPO (Self-Reflective Policy Optimization), um método de aprendizado por reforço que converte o feedback esparso de resultado final em supervisão densa, no nível de cada token, para tarefas de raciocínio de longo horizonte e comportamento de agentes. O trabalho — ainda não revisado por pares — reporta ganhos de benchmark sobre o GRPO, técnica popularizada por modelos como o DeepSeek-R1, com custo computacional bem menor.

Como o método funciona

O SRPO usa um pipeline de duas etapas. Primeiro, ele parte de uma trajetória gerada pela política em uso junto com seu resultado final, cria um “patch de reflexão” compacto e reinicializa o modelo-base com essa memória. Em seguida, um professor do mesmo modelo pontua novas trajetórias naquele contexto, e o modelo-base aprende com os scores por token usando reverse KL — uma comparação de probabilidades token a token.

A ideia central é transformar o problema: em vez de recompensar apenas se a resposta final acertou, o modelo recebe um sinal de qualidade distribuído ao longo da geração. Isso, segundo os autores, reduz a variância do treinamento e permite avançar com menos dados e menos computação.

Os números reportados

Os testes usaram os modelos Qwen3-1.5B, Qwen3-8B e Qwen3-32B, com o Llama-3.1-8B-Instruct avaliado adicionalmente em tarefas de agente. No AIME’24, o SRPO reportou 73,3% ± 1,4% de acerto, com FLOPs de treinamento normalizados em 0,26x os do GRPO. Em MATH-500, 81,2%; em GSM8K, 93,8%; e em DeepScaleR, 59,7%.

Em tarefas de agente e código, o método reportou 64,7% de sucesso no WebShop, 76,8% no ALFWorld, 31,2% no SWE-Lite e 35,1% no LiveCodeBench. Os ganhos sobre o GRPO foram de +7,8 pontos percentuais no modelo de 1,5B, +5,3 no de 8B e +3,8 no de 32B — uma tendência que sugere que o benefício relativo diminui conforme o modelo cresce.

A comparação de custo

No detalhamento de FLOPs do artigo, o SRPO aparece com 5,4 unidades contra 20,8 do GRPO — cerca de 3,8 vezes menos operações de ponto flutuante. Contra uma extrapolação de SFT-2M escalada, o custo seria de apenas 8% do treinamento supervisionado equivalente.

Limitações e cautelas

Como se trata de um pré-print, os resultados ainda não passaram por revisão independente. O próprio resumo consultado pelo NoticIA registra uma ressalva metodológica: a correlação entre a qualidade da reflexão e a melhora de desempenho (r = 0,72) não tem intervalo de confiança reportado, então deve ser lida como associação, não como estimativa causal. Além disso, o efeito da reflexão é sensível ao contexto — reflexões “descasadas” derrubam o desempenho, o que indica que a qualidade do patch de reflexão é um fator crítico para o método funcionar.

Se os resultados se confirmarem em replicação independente, o SRPO entra para um grupo crescente de técnicas que buscam baratear o pós-treinamento de modelos de raciocínio — um tema estratégico para quem não tem o orçamento computacional dos grandes laboratórios. O artigo completo está disponível no arXiv (ID 2608.23493).