Pós-treinamento offline de LLMs de código melhora geração sem custo de amostragem online

O custo oculto do pós-treinamento

O pós-treinamento com aprendizado por reforço (RL) é uma fase crítica no desenvolvimento de LLMs de código, pois garante aderência a instruções e produção de código funcionalmente correto. Mas o processo tradicional exige geração intensiva de amostras de código a partir do próprio modelo e comunicação substancial entre GPU e CPU para verificar as sequências — um custo computacional pesado.

A pergunta do estudo

Este trabalho examina se o pós-treinamento baseado em RL pode ser feito inteiramente offline, aproveitando conjuntos de dados existentes em vez de gerar novas amostras online.

O que foi descoberto

Os resultados indicam que, com apenas algumas horas de treinamento, o desempenho de geração de código zero-shot dos LLMs pode ser substancialmente melhorado sem amostragem online. O RL offline produziu ganhos de desempenho em modelos de 0,5B a 7B de parâmetros, embora a magnitude da melhoria varie entre as famílias de modelos.

Por que importa

Se o pós-treinamento pode ser feito offline a partir de dados já existentes, a barreira de custo para ajustar modelos de código cai drasticamente — especialmente para equipes menores que não têm acesso a clusters grandes de GPU. Em vez de gerar milhões de amostras e verificá-las em tempo real, bastaria usar corpora já curados. É uma direção promissora para democratizar o ajuste fino de modelos de programação.