HarnessDev, da ByteDance Seed: LLMs conseguem construir o próprio harness de agente? Só 34 de 64 mudanças generalizam

O que acontece quando o alvo de um benchmark não é a resposta que o modelo produz, mas o próprio código que o envolve? Essa é a pergunta central do HarnessDev, estudo proposto por pesquisadores da ByteDance Seed, da Singapore University of Technology and Design, do Georgia Institute of Technology, da M-A-P e da TokenWave.AI.

Harness: o código invisível que define o desempenho

Um “harness” de agente é todo o código ao redor do modelo: o loop de execução, as ferramentas, o contexto, o estado, a recuperação de erros e a verificação. Ele importa muito mais do que parece. No leaderboard Terminal-Bench 2.1, o GPT-5 resolve 35,2% das tarefas dentro do Terminus 2, mas salta para 49,6% dentro do Codex CLI — com os mesmos pesos. A maioria dos benchmarks mantém esse harness fixo; o HarnessDev inverte o alvo e avalia justamente o harness executável que o modelo escreve.

Duas etapas: criação e evolução

Na etapa de Criação, cada modelo criador recebe uma “semente” fraca — primitivas passivas de arquivo, busca e processo, sem loop, planejador, verificador ou regra de parada. Sem modificação, ela pontua zero em tudo. O criador recebe uma especificação da família de tarefas, um tutorial curto e de 1 a 3 casos de desenvolvimento, e constrói um harness completo, congelado antes das tarefas ocultas.

Na etapa de Evolução, o criador parte do próprio código congelado e o revisa usando feedback de execução de 100 tarefas do SWE-bench Pro e de todas as 89 do Terminal-Bench 2.1, com orçamento de 10 pares de avaliação. A versão final é pontuada em 630 instâncias ocultas do SWE-Pro que o criador nunca viu.

O que os resultados mostram

Seis modelos foram testados como criadores: Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max e Seed 2.0 Pro. Sob autoavaliação, o Opus 4.8 registrou a maior média (67,8), contra uma referência humana de 86,2 — mas a distância varia por domínio:

• Código: Opus 4.8 chega a 69,3 no SWE-Pro contra 80,0 de referência; Gemini lidera o Terminal-Bench com 68,8 contra 88,8.
• Busca: a maior lacuna. O melhor resultado no BrowseComp é 52,6 (GPT-5.5) contra 92,2 de referência.
• Escrita: Opus 4.8 alcança 84,6 no EQ-Bench3, acima da referência de 83,7.
• Experimentação em ML: Opus 4.8 (32,9) e Gemini (32,4) superam a referência de 24,0 do MLE-bench.

Dois achados chamam atenção. Primeiro, volume de código não prevê qualidade: os 18 harnesses adicionaram 17.111 linhas líquidas, mas o Gemini, que adicionou menos (1.006), liderou o Terminal-Bench. Segundo, boa parte do maquinário gerado é inerte: 18 componentes de estado e memória nunca disparam, e 124 de 587 recursos de escrita são código morto.

Transferência entre executores e o que a evolução realmente entrega

Os harnesses são específicos do executor. Ao trocar para o Gemini, o Opus 4.8 despencou de 69,3 para 33,0 no SWE-Pro — em parte porque um harness fixou um limite de 120 passos em torno do executor original. Na evolução, os ganhos foram pequenos e ruidosos: das 64 mudanças avaliadas, apenas 2 mostraram evidência positiva clara, e o feedback e a pontuação em dados ocultos apontaram na mesma direção somente em 34 casos (53,1%).

A lição prática: os modelos já constroem harnesses que igualam ou superam referências humanas em escrita e experimentação de ML, mas ainda ficam muito atrás em código e busca — e a “melhoria iterativa” do próprio harness é, hoje, mais ruído que progresso confiável.