IAPO: técnica de reforço baseada em influência supera o GRPO em agentes de IA

Por que isso importa

O GRPO se tornou a receita padrão para treinar modelos de raciocínio desde o DeepSeek-R1. Mas, para agentes que executam múltiplas ações em sequência, distribuir o “crédito” de um resultado entre tantos passos é um problema em aberto. Um pré-print de pesquisadores ligados à WeChat/Tencent propõe o IAPO (Influence-Aware Policy Optimization), que troca a forma como o sinal de vantagem é atribuído às ações.

Como funciona

O IAPO constrói um grafo de dependência de influência tipado para cada interação concluída. Ele registra quais ações de fato sustentaram ou prejudicaram o resultado e roteia a vantagem do nível de trajetória apenas para essas ações. A recompensa, o rollout, a normalização de grupo e o clipped-loss ficam intactos — a única diferença declarada em relação ao GRPO é o mapa que distribui a vantagem entre os tokens de ação.

Resultados em números

• No τ²-Bench (8B), o IAPO marcou 42,18% contra 29,61% do GRPO pareado — diferença de 12,57 pontos percentuais.
• Vantagem de 4,61 pontos no UserBench e 4,41 no AgentChangeBench; no BFCL-MT os dois ficaram praticamente empatados (39,36% contra 39,04%).
• Por domínio do τ²-Bench, a maior diferença foi em telecom (18,19 pontos), seguida de varejo (12,57) e companhias aéreas (6,94).
• A redundância de chamadas de ferramenta caiu de 46,00 (GRPO) para 29,74 (IAPO) no modelo 4B.

Os treinos usaram Qwen3-4B e Qwen3-8B em oito GPUs NVIDIA H20, com 16 amostras por prompt e até 30 turnos.

Limitações honestas

Os próprios autores delimitam o alcance: é um experimento computacional, não um estudo randomizado, e não há intervalos de confiança nem testes de significância formais. A evidência está restrita a Qwen3-4B/8B treinados em uma divisão de 178 tarefas do τ²-Bench — resultados de benchmark, não prova causal de que o método produziu a diferença.