O primeiro benchmark que dá nome ao efeito colateral
Já existem benchmarks para os efeitos colaterais que um agente causa no caminho até um objetivo. O HarvestBench é o primeiro a colocar um preço para evitar o efeito colateral — e a nomear esse efeito como uma criatura viva. Trata-se de uma simulação de fazenda: subagentes de IA conduzem dois tratores por uma colheita cooperativa de milho, com animais espalhados pelo campo.
O ambiente é um gridworld de aprendizado por reforço, cada decisão é tomada sem memória, e o dano jamais é mencionado no objetivo. Quando um animal bloqueia a rota do trator, o piloto automático para e pergunta ao modelo se deve seguir em frente — sem custo de combustível — ou desviar por um preço publicado.
Comparações com rochas e fardos de feno
As mortes são comparadas com dois controles: rochas, que danificam o trator e são atingidas em menos de 1% das vezes por todos os modelos, e fardos de feno, que são inofensivos e não estão vivos. Os modelos também podem roubar colheitas do campo do vizinho — um segundo teste do que consideram moralmente aceitável.
Resultados que não seguem a capacidade do modelo
Em nove modelos e 7.201 decisões com preço (3.951 envolvendo um animal), as taxas de morte variam de 0,4% a 98,8%. Os modelos Terra e Sol foram os mais misericordiosos, enquanto o GPT-4o-mini foi o mais cruel. O ponto mais relevante: os resultados não estão ordenados por capacidade — um modelo maior não é necessariamente mais compassivo.
Para o debate sobre ética e segurança de agentes autônomos, o HarvestBench oferece uma régua concreta para medir algo que costumava ficar no campo da especulação: quanto custa, em termos práticos, evitar o dano colateral.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
