SkillOpt transforma edição de habilidades de agentes de IA em um processo de otimização controlado

Agentes de IA baseados em grandes modelos de linguagem (LLMs) frequentemente falham porque suas instruções — ou “skills” — são modificadas manualmente, sem garantia de melhoria. Pesquisadores da Microsoft Research Asia propõem o SkillOpt, uma abordagem que trata o arquivo de skill como um parâmetro treinável externo ao modelo congelado, transformando a escrita de prompts em um processo de otimização controlado.

O problema: skills que degradam em vez de melhorar

Atualmente, skills de agentes vêm de três fontes: especialistas as escrevem manualmente, um modelo de ponta as gera em uma única chamada, ou o agente as revisa após execução. Nenhuma dessas abordagens se comporta como um otimizador de aprendizado profundo. Falta controle de tamanho de passo, validação em dados separados e memória de revisões que falharam. Como resultado, as skills tendem a crescer e derivar a cada reescrita, e uma revisão aparentemente razoável pode silenciosamente degradar o desempenho real da tarefa.

SkillOpt: skills como parâmetros treináveis

SkillOpt reformula a pergunta de “como escrever um prompt melhor?” para “como treinar a skill?”. O arquivo de skill é tratado como um parâmetro externo ao modelo alvo congelado, introduzindo um loop de otimização no estilo treinamento. O ciclo é organizado em três fases:

• Forward pass: o modelo alvo congelado executa um lote de tarefas de treinamento com a skill atual.
• Backward pass: um modelo otimizador separado lê as trajetórias resultantes em minibatches de reflexão, destilando padrões a preservar de trajetórias bem-sucedidas e padrões a corrigir de falhas.
• Update step: o otimizador propõe pequenas edições (adicionar, deletar, substituir), que são mescladas, deduplicadas, ranqueadas e limitadas por um orçamento de edição por passo (taxa de aprendizado textual).

Cada skill candidata passa por um gate de validação: só é adotada se obtiver pontuação estritamente maior que a skill atual no split de validação separado. Edições rejeitadas entram em um buffer de feedback negativo para chamadas futuras do otimizador no mesmo epoch. Em uma cadência mais lenta, uma slow/meta update consolida lições de horizonte mais longo que lotes isolados não revelam.

Resultados: melhor em todas as 52 células de avaliação

SkillOpt foi avaliado em seis benchmarks (SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMathematicianBench e ALFWorld), sete modelos alvo (do GPT-5.5 ao Qwen3.5-4B) e três modos de execução (chat direto, Codex e Claude Code). Contra skills escritas por humanos, geradas one-shot, Trace2Skill, TextGrad, GEPA e EvoSkill, SkillOpt obteve o melhor resultado ou empatou em todas as 52 células de avaliação.

Com GPT-5.5 em chat direto, a média dos seis benchmarks subiu de 58,8 para 82,3 — um ganho absoluto de +23,5 pontos, e +5,4 pontos acima de um oráculo que escolhe o melhor método concorrente por célula. Os maiores ganhos aparecem em benchmarks procedurais: SpreadsheetBench foi de 41,8 para 80,7; OfficeQA de 33,1 para 72,1; LiveMathematicianBench de 37,6 para 66,9.

Modelos pequenos + skill = desempenho de modelos maiores

SkillOpt reduz a lacuna entre modelos pequenos ou de peso aberto e modelos de fronteira, sem alterar pesos ou adicionar chamadas extras ao modelo na inferência. Após otimização, GPT-5.4-mini (média 64,3) supera a linha de base sem skill do GPT-5.4 (59,7); GPT-5.4-nano (57,4) supera a linha de base do GPT-5.2 (51,3); Qwen3.5-4B também supera GPT-5.2 sem skill. Ganhos que antes exigiam um modelo maior podem ser aproximados por um arquivo de skill otimizado.

Skills transferíveis: treine uma vez, reutilize em vários contextos

O arquivo de skill otimizado captura procedimentos reutilizáveis de resolução de tarefas, não instruções superajustadas a um único modelo, benchmark ou ambiente. Experimentos de transferência mostram que a mesma skill melhora o desempenho quando movida entre escalas de modelo, entre harnesses de agente e para tarefas relacionadas. O exemplo mais claro é a transferência entre harnesses: uma skill de planilha treinada dentro do Codex, quando colocada no Claude Code sem otimização adicional, elevou a linha de base sem skill de 22,1 para 81,8 (+59,7) — ligeiramente acima dos 80,4 obtidos treinando diretamente no Claude Code.

Compacta, legível e construída com poucas edições aceitas

O artefato final, best_skill.md, não é um blob opaco de parâmetros nem um log que cresce sem parar. Em seis estudos de caso, a mediana do comprimento final da skill é de aproximadamente 920 tokens. Como o gate de validação rejeita a maioria das propostas, apenas uma a quatro edições são aceitas no arquivo final. O ganho de +39,0 pontos no OfficeQA veio de uma única edição aceita. As regras aprendidas se assemelham a conselhos de um profissional experiente.

Limitações e considerações

SkillOpt depende da existência de uma avaliação automática ou de um verificador confiável para o domínio alvo. O processo de otimização requer um modelo otimizador separado, o que adiciona custo computacional durante o treinamento, embora não durante a inferência. A abordagem foi validada em tarefas de QA, planilhas, documentos, matemática e navegação em ambientes virtuais; sua eficácia em outros domínios ainda precisa ser demonstrada. Os pesquisadores disponibilizaram o código e o paper para que a comunidade explore e adapte a técnica.

Por que isso importa no mundo real

SkillOpt aponta para um caminho mais leve para adaptar agentes a domínios específicos: em vez de fine-tunar pesos, codificar lógica de tarefa manualmente ou ajustar prompts na mão, equipes podem treinar uma pequena camada de skill em linguagem natural, versionável, auditável e transferível. Ao trazer taxas de aprendizado, schedules, splits de validação, amostras rejeitadas e atualizações lentas para skills de agentes, SkillOpt sugere que o treinamento não precisa se limitar a pesos de modelo — conhecimento procedural fora do modelo também pode ser otimizado.

Links úteis

• Repositório GitHub do SkillOpt
• Página do projeto SkillLens (projeto complementar)
• Post original no blog da Microsoft Research