Agentes de IA baseados em LLMs frequentemente falham do mesmo jeito, repetidas vezes. Uma equipe de pesquisa de Stanford identificou a causa: capacidades específicas ausentes que se repetem em cada execução. O resultado é o TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), um sistema open-source sob licença MIT que transforma falhas recorrentes em ambientes de treinamento por reforço direcionados.
O problema que o TRACE resolve
Para entender o design, é preciso considerar por que agentes falham. Eles carecem de habilidades específicas que as tarefas exigem — como recuperar o registro correto ou verificar uma pré-condição antes de agir.
Duas abordagens comuns gastam compute de forma ineficiente: RL direto ou SFT dá recompensas esparsas que nunca indicam qual habilidade estava faltando. Dados sintéticos amplos são genéricos demais, direcionando orçamento computacional para habilidades que o modelo já domina.
O TRACE parte de uma observação crucial: as falhas não são aleatórias. Um pequeno conjunto de déficits responde pela maioria das trajetórias malsucedidas. Cada déficit recorrente pode se tornar seu próprio sinal de treinamento denso e verificável.
Pipeline em 4 etapas
1. Análise contrastiva de capacidades
O agente base gera rollouts no ambiente-alvo. Um agente analisador divide as trajetórias em conjuntos de sucesso e falha, rotulando cada par trajetória-capacidade como NA, PRESENT ou LACKING. Uma capacidade é retida apenas quando seu gap contrastivo supera δ = 0,20 e sua cobertura de falhas supera ρ = 0,10.
2. Síntese de ambientes direcionados
Um agente gerador constrói um ambiente sintético por capacidade retida. Cada ambiente isola uma única habilidade preservando os esquemas de ferramentas e formato do domínio-alvo. As instâncias de tarefa são geradas proceduralmente a partir de seeds aleatórios, e as recompensas não precisam de labels humanos nem juiz LLM.
3. Treinamento de adaptadores LoRA
Cada capacidade recebe um adaptador LoRA (Low-Rank Adaptation) treinado em seu ambiente sintético. O algoritmo é GRPO (Group Relative Policy Optimization), com o modelo base congelado. O GRPO agrupa rollouts por seed compartilhada e normaliza recompensas dentro de cada grupo.
4. Composição MoE com roteamento por token
Os adaptadores são compostos em um modelo Mixture-of-Experts (MoE). Apenas gates leves de token são treinados; backbone e adaptadores permanecem congelados. Na inferência, cada token é roteado top-1 para um único adaptador de capacidade, permitindo trocar de especialista no meio da trajetória.
Resultados nos benchmarks
No backbone Qwen3-30B-A3B, o TRACE melhorou o τ²-Bench em +15,3 pontos (de 32,9% para 48,2%) e o SWE-bench Verified em +15 pontos Pass@1 (de 26% para 41%). Superou os baselines externos mais fortes — GEPA e SWE-RL — por +8,6 e +8,4 pontos respectivamente.
Com o backbone Qwen3.6-27B, o TRACE alcançou 73,2% Pass@1 no SWE-bench Verified — superando GPT-5.2-Codex (72,8%), GLM 5 e Claude 4.5 Sonnet no leaderboard público. Um modelo open-weight de 27B vencendo modelos proprietários de ponta.
Eficiência de amostras
O TRACE é notavelmente eficiente em uso de amostras. Usando menos de um quarto dos rollouts, excedeu as pontuações finais do GRPO e GEPA. Na prática, a análise contrastiva recuperou quatro déficits estáveis: raciocínio com dados estruturados, conclusão de tarefas multi-etapa, verificação de pré-condições e precisão no uso de ferramentas.
Por que isso importa
O TRACE muda a abordagem de treinamento de agentes: em vez de jogar mais dados e compute no problema, ele diagnostica precisamente quais capacidades faltam e constrói ambientes de treinamento específicos para cada uma. Cada adaptador LoRA adiciona apenas ~1,6B de parâmetros treináveis (5,3% do backbone), e o gate MoE treinado adiciona apenas 491.760 parâmetros no total.
Para profissionais de IA, o pipeline é agnóstico a benchmark e orientado por prompts em markdown. Após a geração dos ambientes, cada adaptador é treinado contra um servidor vLLM em execução, com hot-swapping de LoRA habilitado. O código está disponível no GitHub com thresholds padrão de ρ = 0,10 e δ = 0,20.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
