Um novo estudo sugere que, na evolução de agentes de IA, verificar melhor pode valer mais do que tentar mais vezes. Pesquisadores apresentaram o HarnessLens, um método que faz um harness de agente evoluir de forma autônoma escolhendo seletivamente quais tarefas usar para testar suas próprias modificações propostas. Em avaliação computacional, o método registrou ganhos médios de 7,6% a 13,6% em três harnesses e quatro benchmarks — embora os próprios autores reconheçam que isso, por si só, não prova relação de causa e efeito.
Como o método funciona
O HarnessLens explora tanto o espaço de tarefas quanto as partes configuráveis de um harness, usa trajetórias de execução para propor modificações candidatas e as testa seletivamente em tarefas ligadas ao comportamento que motivou a mudança. Um gate de evidência atribuível decide se a atualização proposta tem suporte suficiente para seguir adiante — e a mudança só substitui o harness atual se trouxer benefício rastreável sem regressão atribuível.
A avaliação cobriu os agentes OpenCode, Codex e Pi em quatro benchmarks (Retail, Banking Knowledge, Terminal-Bench 2.0 e o subconjunto desafiador do BIRD Mini-Dev). O HarnessLens alcançou o melhor ou empatou no melhor resultado em oito dos 12 pares harness-benchmark e nunca ficou abaixo do harness inicial.
Um orçamento menor, com uma ressalva
O HarnessLens foi limitado a 200 unidades totais de interação, incluindo execuções de tarefas e sessões de modelo de linguagem. Os métodos de comparação tiveram tetos muito maiores — por exemplo, 4.800 execuções de treino para o Self-Harness. Os autores alertam, porém, que a conta não é equivalente: os baselines contavam apenas execuções, enquanto o HarnessLens contava tentativas e sessões. Sem normalização de custo, o ranking pode mudar.
O que fica em aberto
A evidência é estreita: um único modelo de linguagem (o deepseek-v4-flash-preview), três harnesses e quatro benchmarks públicos. Não há intervalos de confiança, e o estudo não normalizou uso de tokens, latência ou custo monetário entre os papéis. O trabalho é o preprint arXiv 2608.27311v1, de 27 de agosto de 2026, ainda sem revisão por pares, com código disponível em um repositório GitHub.
Para o mercado de agentes de IA — um dos campos mais aquecidos de 2026 — o estudo contribui com uma direção importante: em vez de simplesmente aumentar o número de tentativas (rollouts), direcionar a verificação para as tarefas certas pode entregar melhoria de desempenho com orçamento menor. É um sinal relevante para quem constrói harnesses de avaliação e pipelines de agentes em produção.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
