A forma como um agente chama ferramentas, interpreta retornos e encerra uma tarefa pode ser tão importante quanto o modelo escolhido. Em 20 de novembro de 2026, a Hugging Face divulgou adaptadores LoRA treinados por reforço para três harnesses de agentes — pi, Hermes Agent e OpenCode — com a proposta de especializar o Qwen3.8-27B no ambiente em que ele realmente será executado. Nos testes divulgados, os adaptadores elevaram a taxa de sucesso e reduziram chamadas de ferramentas; os resultados, porém, são específicos dos benchmarks, das tarefas e da infraestrutura usados no estudo.

O trabalho importa porque boa parte das avaliações de modelos mede um chat ou uma ferramenta isolada, enquanto agentes de programação operam dentro de um ciclo completo: recebem instruções, selecionam ferramentas, observam saídas, decidem se continuam e produzem alterações verificáveis. A Hugging Face chama essa camada operacional de harness. O novo experimento tenta treinar o modelo dentro desse ciclo real, em vez de treinar uma reprodução simplificada dele.

O que a Hugging Face lançou

A iniciativa reúne um adaptador LoRA por harness para o Qwen3.8-27B, além de um “super-adapter” que combina os três. Os artefatos — adaptadores, versões GGUF, tarefas de RL e o plugin de segurança usado nos experimentos — estão organizados na coleção oficial Harness Hub.

  • Modelo-base: Qwen3.8-27B, com pesos congelados e adaptação por LoRA.
  • Ambientes-alvo: pi 1.5.2, OpenCode 2.2.7 e Hermes Agent v0.22.6.
  • Treinamento: GRPO assíncrono com TRL, OpenEnv, Harbor e Hugging Face Jobs.
  • Objetivo: melhorar acerto e eficiência de um modelo no mesmo harness e na mesma distribuição de tarefas em que será usado.
Pipeline de tarefas para treinamento de adaptadores de harness da Hugging Face
O pipeline oficial combina geração, validação e seleção de tarefas antes do treinamento por reforço.

Por que um modelo muda de comportamento conforme o harness

O mesmo modelo pode receber contextos diferentes, regras de ferramenta diferentes, limites de chamadas distintos e formatos próprios de observação dependendo do harness. Isso altera o caminho percorrido para resolver uma tarefa. Um modelo generalista é treinado para funcionar de maneira ampla; não necessariamente para ser econômico ou consistente dentro de um conjunto concreto de ferramentas e políticas.

A hipótese testada pela Hugging Face é que o agente deve aprender no ambiente de implantação. Para isso, o harness de destino roda como ele é distribuído, enquanto um proxy registra os tokens do fluxo entre o agente e o servidor de inferência. O treinador passa a otimizar o comportamento produzido por esse ciclo real, não por uma abstração criada apenas para o treinamento.

Na demonstração inicial citada pela empresa, o Qwen3.8-27B no harness pi obteve 39% no Terminal-Bench 2.1 com média de 2,9 mil tokens por tarefa. Com um adaptador LoRA treinado por RL, o resultado reportado foi 55% de pass@1 e 1,5 mil tokens por tarefa. É um indicativo relevante, mas não deve ser lido como garantia de ganho em qualquer repositório, tarefa ou modelo.

Como as tarefas foram filtradas antes do RL

Um ponto forte do relatório é tratar a qualidade da tarefa como parte do problema. Em RL, uma tarefa com verificador defeituoso pode recompensar uma resposta errada; uma tarefa fácil demais ou impossível demais pode não oferecer sinal útil para aprendizado. A equipe reuniu tarefas de SWE-smith, SWE-Gym/TaskTrove e Tasksmith, este último gerando cenários a partir de pull requests mesclados.

Segundo a Hugging Face, uma busca inicial encontrou cerca de 59 mil tarefas no formato Harbor. Após remover duplicatas, conjuntos de avaliação, itens sem permissão de treino e possíveis vazamentos em benchmarks-alvo, cada candidato passou por verificações com openenv validate. Entre os critérios estavam: a solução de referência deve atingir a recompensa máxima; não fazer nada deve pontuar claramente abaixo; soluções-canário não podem superar o estado inicial; e a execução de referência precisa ser determinística.

openenv validate path/to/task --sandbox hf-sandbox
# Executa a validação semântica de uma tarefa Harbor em sandbox.

O estudo informa que 858 de 1.127 candidatos do Hub passaram nessa etapa. Depois, o modelo-base tentou as tarefas diversas vezes: o conjunto preferido para GRPO ficou com aquelas que o modelo resolvia em parte das tentativas, mas não em todas. Essa escolha evita tanto exemplos já dominados quanto problemas nos quais o modelo nunca recebe uma recompensa positiva.

Resultados do Qwen3.8-27B na verificação de dificuldade das tarefas
A validação de dificuldade separa tarefas que o modelo resolve ocasionalmente das que não geram sinal útil de aprendizagem.

Infraestrutura, segurança e limites operacionais

Os adaptadores finais foram treinados com duas GPUs NVIDIA B200 por execução: uma para o servidor vLLM e outra para o processo de treinamento. Isso deixa claro que a receita completa não é um procedimento leve para reproduzir em uma máquina local comum. A Hugging Face também usou o safeagents para bloquear padrões de uso de ferramentas considerados inadequados durante os rollouts, com regras específicas para as tarefas e caminhos de teste.

Esse controle melhora o isolamento do experimento, mas não equivale a tornar um agente seguro em produção. Regras por padrão e regex dependem de cobertura: não substituem permissões mínimas, segregação de credenciais, ambientes descartáveis, revisão humana para ações irreversíveis e logs auditáveis. Organizações que adaptem modelos para seu próprio harness devem validar também o comportamento fora do conjunto de treino, especialmente em repositórios, ferramentas e instruções adversariais que o pipeline não viu.

Diagrama interativo do ciclo de treinamento no harness, publicado pela Hugging Face.
Visualização oficial sobre o uso do AsyncGRPOTrainer.

O super-adapter: um LoRA para três ambientes

Após treinar os três adaptadores, a equipe comparou as atualizações de pesos e relatou similaridade de cosseno entre 0,01 e 0,02. Com atualizações quase ortogonais, a interferência entre elas tende a ser menor. O grupo concatenou os LoRAs pela dimensão de rank, chegando a rank 96, e avaliou pesos de 1/3, 1/2 e 1 para cada atualização.

Nos 89 itens do Terminal-Bench 2.1 apresentados para essa comparação, o peso de 1/2 atingiu 52,5% de desempenho combinado nos três harnesses e média de 25,9 chamadas de ferramenta por tarefa. A soma integral reduziu drasticamente as chamadas, para 13,4, mas desequilibrou os resultados: Hermes chegou a 62,8%, enquanto pi ficou próximo ao modelo-base. O dado é uma lição útil: menos chamadas não é uma métrica suficiente; eficiência só é ganho quando preserva a correção.

Resultados interativos do adaptador combinado divulgados no relatório.

Resultados divulgados e o que eles realmente permitem concluir

Nos testes por harness, a Hugging Face reportou ganhos em SWE-bench Pro (subconjunto difícil) e Terminal-Bench 2.1. Por exemplo, no Terminal-Bench 2.1, o adaptador específico do Hermes passou de 44,7% para 58,8%; o super-adapter ficou em 55,3%. Com o modo de raciocínio ligado, o super-adapter no Hermes alcançou 63,5%, com redução de 19% em eficiência indicada pela publicação. Esses números são resultados da equipe autora, não uma validação independente.

Também há limites metodológicos importantes. Os ambientes, versões de harness, benchmarks, política de recompensa e infraestrutura foram escolhidos pelos autores. O ganho pode não transferir para outros modelos, outras ferramentas, tarefas não relacionadas a programação ou políticas de agente diferentes. O relatório reconhece uma questão aberta: ainda não está totalmente claro quais comportamentos o modelo aprendeu em cada adaptador e quanto deles é especialização legítima, atalho de benchmark ou efeito da distribuição de tarefas.

O que isso muda para equipes que constroem agentes

Na análise do NoticIA: o principal avanço não é simplesmente mais um LoRA. É transformar o harness em parte explícita do objeto de treinamento. Para equipes que já têm tarefas verificáveis, ambiente isolado e telemetria confiável, isso sugere uma rota para reduzir custo por tarefa sem trocar todo o modelo. Para equipes sem esses pré-requisitos, o maior retorno continua sendo construir bons testes, verificação determinística e controles de execução antes de investir em RL.

Há quatro perguntas práticas antes de tentar repetir a receita:

  • O fluxo do agente pode ser executado de forma reproduzível em um sandbox?
  • Há verificadores capazes de distinguir uma solução correta de uma aparentemente correta?
  • As tarefas representam trabalho real e não apenas um benchmark conveniente?
  • Os ganhos serão medidos também em custo, segurança e regressões fora do treino?

Se a resposta for “não” para qualquer uma delas, adaptar o modelo cedo demais pode otimizar a métrica errada. A contribuição da Hugging Face é tornar os componentes desse processo — ambientes, tarefas, adaptadores e plugin de segurança — navegáveis e reutilizáveis. A próxima prova necessária é verificar se a abordagem se mantém em ambientes corporativos, com ferramentas proprietárias e avaliações independentes.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário