Agentes de IA estão aprendendo menos com textos curados e mais com ambientes interativos. O problema: esses ambientes são construídos à mão e congelados — eles se comportam de forma idêntica, não importa qual agente esteja agindo ou o quanto ele tenha melhorado. Uma equipe do Google Cloud AI Research, da Universidade Washington em St. Louis e da UNC Chapel Hill apresentou o EnvHarness, uma camada programável que transforma um benchmark estático de agentes em um ambiente que se adapta à política que está treinando nele.
Embrulhar, não reescrever
A abordagem usual é gerar novos ambientes, o que prende o projeto a pipelines específicos de domínio e a verificadores escritos por LLMs que precisam ser super-gerados e filtrados. O EnvHarness inverte o movimento: ele embrulha um ambiente existente em componentes plugáveis que operam estritamente pela interface padrão reset() / step(), mudando onde um episódio começa, o que o agente pode fazer e o que ele vê — enquanto o simulador, as tarefas e o verificador humano permanecem intocados.
O termo de recompensa fica deliberadamente de fora. Como nenhuma intervenção alcança o backend do simulador, cada tarefa reformulada mantém seu verificador original, e uma única implementação cobre todos os domínios. Três componentes acompanham o lançamento:
- Stage: repete uma lista fixa de ações após o
reset(), fazendo o episódio começar em outro lugar — esconder a caneca-alvo numa gaveta fechada força busca em vez de alcance. - Contract: instala ganchos por passo nos eixos de ação, transição e observação — bloqueia uma ação, reescreve uma resposta, trunca uma observação.
- Chain: compõe um segundo ambiente no mesmo episódio sob um orçamento de passos compartilhado.
EnvRigger: o laço do designer
Os componentes são agnósticos à política; escolhê-los não é. O EnvRigger trata a política como caixa-preta e roda quatro etapas: observa cinco execuções de linha de base, diagnostica uma falha sistêmica, escreve componentes em Python real e valida em cinco execuções novas. Candidatos insolúveis e trivialmente solúveis são rejeitados, com até cinco rodadas de revisão por tarefa. Os ganchos gerados compilam em subprocesso isolado, então uma mutação ruim vira um rastro registrado em vez de uma execução morta.
Desempenho em cinco benchmarks
Em ALFWorld, WebArena, SWE-bench Verified, OfficeQA e SpreadsheetBench, as habilidades extraídas com indução estilo ReasoningBank superaram os controles em tarefas mantidas fora do treinamento. No ALFWorld, a média sobe de 62,4 para 68,3 contra habilidades de ambientes originais, com +9,0 pontos no split fora de distribuição. No SWE-bench Verified, a taxa de resolução passa de 49,88 para 52,58 enquanto os passos médios caem de 55,01 para 49,61 — a eficiência de 9,8% citada no paper. Contra geradores específicos de domínio, o EnvHarness supera o SWE-smith em 2,46 pontos com 5,11 passos a menos.
Sob GRPO no Qwen3-8B-base, o aprendizado por reforço em ambientes reformulados vence o RL nos originais em três de quatro métricas (ALFWorld in-distribution: 81,4 → 87,9). Ao escalar para 300 ambientes, a pontuação chega a 54,79 contra 52,13 dos originais e 50,37 dos gerados — porque o designer co-evolui cada lote contra a política atual.
É implantável?
Sim, se você já roda um laço de avaliação de agentes. O EnvHarness é distribuído como Python sob licença Apache-2.0, com drivers de reprodução para seis ambientes. Um novo benchmark entra implementando uma interface (reset / step / observe / evaluate / get_env_state / save_state / from_state); nada a jusante muda. O pré-requisito rígido é um ambiente reinicializável, o que exclui contas de usuário reais e robôs físicos. O custo é o de tokens do designer.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
