A forma como um agente chama ferramentas, interpreta retornos e encerra uma tarefa pode ser tão importante quanto o modelo escolhido. Em 20 de novembro de 2026, a Hugging Face divulgou adaptadores LoRA treinados por reforço para três harnesses de agentes — pi, Hermes Agent e OpenCode — com a proposta de especializar o Qwen3.8-27B no ambiente em que ele realmente será executado. Nos testes divulgados, os adaptadores elevaram a taxa de sucesso e reduziram chamadas de ferramentas; os resultados, porém, são específicos dos benchmarks, das tarefas e da infraestrutura usados no estudo.
O trabalho importa porque boa parte das avaliações de modelos mede um chat ou uma ferramenta isolada, enquanto agentes de programação operam dentro de um ciclo completo: recebem instruções, selecionam ferramentas, observam saídas, decidem se continuam e produzem alterações verificáveis. A Hugging Face chama essa camada operacional de harness. O novo experimento tenta treinar o modelo dentro desse ciclo real, em vez de treinar uma reprodução simplificada dele.
O que a Hugging Face lançou
A iniciativa reúne um adaptador LoRA por harness para o Qwen3.8-27B, além de um “super-adapter” que combina os três. Os artefatos — adaptadores, versões GGUF, tarefas de RL e o plugin de segurança usado nos experimentos — estão organizados na coleção oficial Harness Hub.
- Modelo-base: Qwen3.8-27B, com pesos congelados e adaptação por LoRA.
- Ambientes-alvo: pi 1.5.2, OpenCode 2.2.7 e Hermes Agent v0.22.6.
- Treinamento: GRPO assíncrono com TRL, OpenEnv, Harbor e Hugging Face Jobs.
- Objetivo: melhorar acerto e eficiência de um modelo no mesmo harness e na mesma distribuição de tarefas em que será usado.

Por que um modelo muda de comportamento conforme o harness
O mesmo modelo pode receber contextos diferentes, regras de ferramenta diferentes, limites de chamadas distintos e formatos próprios de observação dependendo do harness. Isso altera o caminho percorrido para resolver uma tarefa. Um modelo generalista é treinado para funcionar de maneira ampla; não necessariamente para ser econômico ou consistente dentro de um conjunto concreto de ferramentas e políticas.
A hipótese testada pela Hugging Face é que o agente deve aprender no ambiente de implantação. Para isso, o harness de destino roda como ele é distribuído, enquanto um proxy registra os tokens do fluxo entre o agente e o servidor de inferência. O treinador passa a otimizar o comportamento produzido por esse ciclo real, não por uma abstração criada apenas para o treinamento.
Na demonstração inicial citada pela empresa, o Qwen3.8-27B no harness pi obteve 39% no Terminal-Bench 2.1 com média de 2,9 mil tokens por tarefa. Com um adaptador LoRA treinado por RL, o resultado reportado foi 55% de pass@1 e 1,5 mil tokens por tarefa. É um indicativo relevante, mas não deve ser lido como garantia de ganho em qualquer repositório, tarefa ou modelo.
Como as tarefas foram filtradas antes do RL
Um ponto forte do relatório é tratar a qualidade da tarefa como parte do problema. Em RL, uma tarefa com verificador defeituoso pode recompensar uma resposta errada; uma tarefa fácil demais ou impossível demais pode não oferecer sinal útil para aprendizado. A equipe reuniu tarefas de SWE-smith, SWE-Gym/TaskTrove e Tasksmith, este último gerando cenários a partir de pull requests mesclados.
Segundo a Hugging Face, uma busca inicial encontrou cerca de 59 mil tarefas no formato Harbor. Após remover duplicatas, conjuntos de avaliação, itens sem permissão de treino e possíveis vazamentos em benchmarks-alvo, cada candidato passou por verificações com openenv validate. Entre os critérios estavam: a solução de referência deve atingir a recompensa máxima; não fazer nada deve pontuar claramente abaixo; soluções-canário não podem superar o estado inicial; e a execução de referência precisa ser determinística.
openenv validate path/to/task --sandbox hf-sandbox
# Executa a validação semântica de uma tarefa Harbor em sandbox.O estudo informa que 858 de 1.127 candidatos do Hub passaram nessa etapa. Depois, o modelo-base tentou as tarefas diversas vezes: o conjunto preferido para GRPO ficou com aquelas que o modelo resolvia em parte das tentativas, mas não em todas. Essa escolha evita tanto exemplos já dominados quanto problemas nos quais o modelo nunca recebe uma recompensa positiva.

Infraestrutura, segurança e limites operacionais
Os adaptadores finais foram treinados com duas GPUs NVIDIA B200 por execução: uma para o servidor vLLM e outra para o processo de treinamento. Isso deixa claro que a receita completa não é um procedimento leve para reproduzir em uma máquina local comum. A Hugging Face também usou o safeagents para bloquear padrões de uso de ferramentas considerados inadequados durante os rollouts, com regras específicas para as tarefas e caminhos de teste.
Esse controle melhora o isolamento do experimento, mas não equivale a tornar um agente seguro em produção. Regras por padrão e regex dependem de cobertura: não substituem permissões mínimas, segregação de credenciais, ambientes descartáveis, revisão humana para ações irreversíveis e logs auditáveis. Organizações que adaptem modelos para seu próprio harness devem validar também o comportamento fora do conjunto de treino, especialmente em repositórios, ferramentas e instruções adversariais que o pipeline não viu.
O super-adapter: um LoRA para três ambientes
Após treinar os três adaptadores, a equipe comparou as atualizações de pesos e relatou similaridade de cosseno entre 0,01 e 0,02. Com atualizações quase ortogonais, a interferência entre elas tende a ser menor. O grupo concatenou os LoRAs pela dimensão de rank, chegando a rank 96, e avaliou pesos de 1/3, 1/2 e 1 para cada atualização.
Nos 89 itens do Terminal-Bench 2.1 apresentados para essa comparação, o peso de 1/2 atingiu 52,5% de desempenho combinado nos três harnesses e média de 25,9 chamadas de ferramenta por tarefa. A soma integral reduziu drasticamente as chamadas, para 13,4, mas desequilibrou os resultados: Hermes chegou a 62,8%, enquanto pi ficou próximo ao modelo-base. O dado é uma lição útil: menos chamadas não é uma métrica suficiente; eficiência só é ganho quando preserva a correção.
Resultados divulgados e o que eles realmente permitem concluir
Nos testes por harness, a Hugging Face reportou ganhos em SWE-bench Pro (subconjunto difícil) e Terminal-Bench 2.1. Por exemplo, no Terminal-Bench 2.1, o adaptador específico do Hermes passou de 44,7% para 58,8%; o super-adapter ficou em 55,3%. Com o modo de raciocínio ligado, o super-adapter no Hermes alcançou 63,5%, com redução de 19% em eficiência indicada pela publicação. Esses números são resultados da equipe autora, não uma validação independente.
Também há limites metodológicos importantes. Os ambientes, versões de harness, benchmarks, política de recompensa e infraestrutura foram escolhidos pelos autores. O ganho pode não transferir para outros modelos, outras ferramentas, tarefas não relacionadas a programação ou políticas de agente diferentes. O relatório reconhece uma questão aberta: ainda não está totalmente claro quais comportamentos o modelo aprendeu em cada adaptador e quanto deles é especialização legítima, atalho de benchmark ou efeito da distribuição de tarefas.
O que isso muda para equipes que constroem agentes
Na análise do NoticIA: o principal avanço não é simplesmente mais um LoRA. É transformar o harness em parte explícita do objeto de treinamento. Para equipes que já têm tarefas verificáveis, ambiente isolado e telemetria confiável, isso sugere uma rota para reduzir custo por tarefa sem trocar todo o modelo. Para equipes sem esses pré-requisitos, o maior retorno continua sendo construir bons testes, verificação determinística e controles de execução antes de investir em RL.
Há quatro perguntas práticas antes de tentar repetir a receita:
- O fluxo do agente pode ser executado de forma reproduzível em um sandbox?
- Há verificadores capazes de distinguir uma solução correta de uma aparentemente correta?
- As tarefas representam trabalho real e não apenas um benchmark conveniente?
- Os ganhos serão medidos também em custo, segurança e regressões fora do treino?
Se a resposta for “não” para qualquer uma delas, adaptar o modelo cedo demais pode otimizar a métrica errada. A contribuição da Hugging Face é tornar os componentes desse processo — ambientes, tarefas, adaptadores e plugin de segurança — navegáveis e reutilizáveis. A próxima prova necessária é verificar se a abordagem se mantém em ambientes corporativos, com ferramentas proprietárias e avaliações independentes.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
