O problema dos prompts difíceis no treinamento
Métodos de aprendizado por reforço como o GRPO têm um comportamento contra-intuitivo em problemas muito difíceis. Um novo preprint mostra que, quando a probabilidade de uma resposta correta fica abaixo de 50%, a amplificação aplicada às respostas erradas cresce sem limite, enquanto a aplicada às corretas fica perto de um. O resultado: o modelo pode ser treinado na direção errada justamente nos problemas que mais precisam de reforço.
A correção proposta se chama DA3PO, que adiciona Direct Advantage Amplification ao DAPO. Nos testes com dois modelos base Qwen3, ele superou as outras variantes de GRPO comparadas por pelo menos 5,02% de acurácia média no Qwen3-4B-Base e 4,95% no Qwen3-8B-Base. Contra o melhor baseline, os ganhos chegam a 5,00% no modelo de 4B e 6,25% no de 8B.
Como a correção funciona
A ideia central começa com o Dynamic Sampling: o método super-amostra e filtra prompts de modo que os grupos mantidos tenham uma taxa empírica mista de respostas positivas, estritamente entre zero e um — ou seja, cada grupo retido contém tanto respostas corretas quanto incorretas.
O DAA (Direct Advantage Amplification) é o ajuste: ele ativa apenas para respostas corretas em prompts difíceis, usando um fator de amplificação constante maior que um quando a taxa empírica de respostas positivas do grupo cai abaixo de um limiar de dificuldade. No setup relatado, o limiar foi 0,5 e o fator foi 2. O artigo descreve o DA3PO como exigindo menos de 30 linhas de código para implementar.
O que os números indicam
Os ganhos também apareceram nos benchmarks AIME, e o pass@k médio melhorou em pelo menos 5,81% (4B) e 5,87% (8B). Os autores interpretam esse padrão como cobertura mais ampla de respostas corretas, em vez de colapso em um único modo de solução. Como sempre em preprints, os resultados são reportados sob as premissas declaradas e aguardam revisão por pares.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
