Por que isso importa agora
Treinar modelos de linguagem grandes virou um processo em etapas: primeiro um ajuste supervisionado (SFT) e, depois, um estágio de aprendizado por reforço como o GRPO. A pergunta que um novo pré-print coloca na mesa é incômoda e útil ao mesmo tempo: e se o critério que usamos para avaliar o SFT estiver enganando a gente sobre o que vem depois?
A pesquisa, de autores ligados à Princeton University, mostra que uma técnica chamada TailSFT — que filtra as sequências de treino antes do ajuste fino — rendeu resultados melhores no estágio de GRPO, mesmo quando os números imediatos do SFT não eram superiores. É um lembrete de que otimizar para o placar da etapa atual não garante o melhor ponto de partida para a etapa seguinte.
O que o TailSFT faz de diferente
A técnica aplica uma filtragem em nível de sequência baseada na redução de perda (loss reduction) e treina as sequências mantidas com a entropia cruzada convencional, com média por token. O comparativo principal é o SFT padrão, sem filtragem.
Nos testes, o TailSFT registrou pass@16 mais alto em 15 de 18 pares conjunto de dados–benchmark — o pass@16 é usado aqui como medida empírica de “cobertura de respostas” em 16 tentativas amostradas. Mais importante: o checkpoint de partida do TailSFT também teve pass@1 superior em todas as comparações pareadas de GRPO.
A distinção central é entre uma resposta única e forte e um leque mais amplo de respostas disponíveis quando se amostra várias vezes. Um modelo que acerta muito bem na primeira tentativa nem sempre é o que oferece a melhor cobertura para o aprendizado por reforço explorar.
Testes controlados e a lição do placar
No teste sintético de grafos em camadas, cada prompt tinha exatamente oito caminhos válidos; o pré-treino amostrava esses caminhos de forma uniforme, enquanto o alvo do SFT era determinístico. Ali, o SFT padrão teve a menor entropia cruzada e o maior pass@1, mas os três métodos de filtragem tiveram pass@8 substancialmente maior — separando claramente o desempenho de amostra única da cobertura multi-amostra.
Os experimentos de SFT em modelos de linguagem usaram o OLMo-3 7B em 18 pares conjunto–benchmark, com um subconjunto de 350 mil exemplos do OpenMathInstruct-2 para matemática, descontaminado contra o MATH-500. Os resultados foram resumidos em três sementes, sem testes formais de significância.
O que a pesquisa não garante
Os autores são cuidadosos ao delimitar o alcance: os experimentos usaram uma única família e tamanho de modelo (OLMo-3 7B), com cobertura limitada de tarefas de matemática e código. O pass@16 e o pass@8 são medidas substitutas de cobertura, não de utilidade no mundo real nem de capacidade irrestrita de aprendizado por reforço.
A lição prática é sobre escolher o placar certo, não sobre adotar uma receita universal. Nos testes pareados, uma perda local menor ou um pass@1 maior nem sempre identificaram o checkpoint com o resultado de GRPO mais forte. São associações observadas nos experimentos relatados — não prova de causalidade nem garantia de superioridade em outros modelos, conjuntos de dados ou procedimentos de reforço. O trabalho ainda não passou por revisão por pares.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
