Avaliar agentes de IA que operam smartphones é um desafio em aberto. Benchmarks existentes como AndroidWorld e MobileWorld deram uma base sólida, mas a cobertura de aplicações e o desenho das tarefas ainda não capturam a diversidade do uso real. Um novo trabalho do arXiv apresenta o GMA, um benchmark para assistentes móveis gerais em cenários realistas e difíceis.
O que o GMA traz de novo
O benchmark introduz sete aplicações baseadas em projetos open source, cobrindo domínios como compartilhamento de estilo de vida e planejamento de viagens, com 300 tarefas distribuídas em quatro níveis de dificuldade — de ações atômicas a fluxos complexos de múltiplas etapas.
O que os resultados revelam
Oito modelos de fronteira foram avaliados, e a conclusão principal é direta: o desempenho cai substancialmente conforme a complexidade aumenta, e os agentes atuais seguem longe de lidar de forma confiável com requisitos reais de usuários. Os autores também fizeram estudos de ablação controlados sobre as escolhas do harness — o arcabouço que conecta o modelo à interface — testando retenção de contexto e rastreamento explícito de estado.
- Um harness bem desenhado melhora o desempenho de forma significativa, sobretudo nos fluxos mais exigentes;
- A eficácia de cada desenho varia conforme o modelo de base — não existe solução única;
- O GMA complementa os benchmarks existentes ampliando a cobertura de aplicações e a complexidade das tarefas.
Por que isso importa agora
Com a corrida do phone use — agentes que clicam, digitam e navegam por você — o gargalo deixou de ser apenas o modelo e passou a incluir como o agente interage com a interface. O GMA oferece um campo de testes exigente para medir esse progresso de forma comparável e sinaliza que a engenharia do harness é tão decisiva quanto a capacidade bruta do modelo.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
