A geração aumentada por recuperação — conhecida como RAG — melhora os modelos de linguagem ao ancorar as respostas em conhecimento externo. Mas o raciocínio de múltiplas etapas continua vulnerável a um problema específico: a propagação de erros. Quando uma recuperação inicial falha, as etapas seguintes ficam comprometidas.
O limite das abordagens atuais
A otimização tradicional baseada em resultado recompensa apenas a resposta final, deixando erros intermediários de recuperação e raciocínio sem detecção. Métodos baseados em processo, por sua vez, introduzem sinais por etapa — mas ainda avaliam cada etapa contra a resposta final, premiando sucessos espúrios: casos em que uma recuperação falha que, por coincidência, leva à resposta correta.
Como o PRO-Step funciona
O PRO-Step ataca o problema em três frentes. Primeiro, treina um modelo de recompensa de processo (PRM) generativo que avalia duas dimensões em cada etapa: a validade lógica e o embasamento em evidências. Depois, usa uma busca em árvore guiada pelo PRM para construir pares de preferência que contrastam etapas válidas com etapas falhas. Por fim, otimiza a política por meio de Direct Preference Optimization (DPO) no nível das etapas.
Resultados
Nos experimentos com conjuntos de dados de perguntas e respostas de uma e múltiplas etapas, o PRO-Step alcançou a melhor média de EM e F1 em cinco benchmarks. Código, modelos e dados de treinamento estão disponíveis publicamente.
Para empresas que usam RAG em produção — de atendimento a busca corporativa — a lição é que otimizar apenas a resposta final deixa resultado na mesa: supervisionar as etapas intermediárias melhora a confiabilidade de sistemas que precisam raciocinar sobre várias fontes antes de responder.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
