Harness ou modelo? Estudo isola o efeito do harness em agentes de programação

A pergunta por trás do estudo

Um sistema de codificação agêntica acopla um modelo de linguagem a um harness — as ferramentas, prompts e fluxo de controle que transformam um chatbot em engenheiro de software autônomo. Cada fornecedor entrega harnesses ajustados aos seus próprios modelos, e o senso comum da indústria assume que o par “nativo” (modelo + harness do mesmo fornecedor) resolve mais tarefas. Um novo estudo decide medir essa suposição.

O método

Os autores rodaram contrastes pareados do mesmo modelo em harnesses diferentes, sobre uma suíte privada e controlada contra contaminação de 256 tarefas de repositório e de competição pós-corte. Por exemplo, claude-opus-4-8 rodou sob claude-agent-sdk e sob deepagents, e gpt-5.5 sob openai-codex SDK e deepagents, com gemini-3.5-flash e deepseek-v3.2 como células laterais. Das 800 rodadas planejadas, 792 foram avaliadas por um oráculo isolado.

O resultado: sem vantagem média

Nenhum contraste resolveu vantagem média para nenhum harness: -1,25 ponto percentual para o Opus 4.8 (48,8% vs 50,0%) e +1,25 pp para o GPT-5.5 (55,6% vs 54,4%) — ambos dentro do intervalo de confiança. Mas a média do Opus esconde estratos opostos: o harness nativo fica 9 pp atrás nas 61 tarefas de repositório e 23,7 pp à frente nas 19 tarefas de competição. Como a partição foi escolhida após ver os dados, exige replicação desenhada.

Houve também desacoplamento entre corretude e conclusão: 22 das 81 rodadas canceladas por teto de tempo já haviam produzido um patch que passaria. Reprecificado pelo uso bruto por turno, o harness neutro custou 1,3 a 1,6 vezes mais por tarefa resolvida no Opus 4.8 e 1,2 vezes no GPT-5.5.

Por que importa

Para times que adotam agentes de programação, a lição é dupla: o harness importa tanto quanto o modelo, e assumir que a combinação nativa é superior pode custar caro. A escolha do harness é uma decisão de engenharia que afeta taxa de resolução e custo por tarefa, e merece experimentação — não dogma de fornecedor. O estudo corrige um manuscrito de agosto de 2026 cujos números de custo se baseavam em um defeito de semântica de uso na telemetria dos próprios autores.