Google abre o ARTEMIS, agente de IA para automatizar testes no Android

O Google disponibilizou o ARTEMIS, projeto open source que transforma instruções em linguagem natural em automação de tarefas no Android usando aparelhos físicos ou emuladores. A ferramenta pode executar fluxos ponta a ponta, registrar Logcat, capturar screenshots e se conectar a assistentes de programação por MCP, incluindo Claude Code, Codex, Windsurf e Antigravity. No repositório oficial, o projeto afirma superar 99% de conclusão no benchmark AndroidWorld, que reúne mais de 100 tarefas de múltiplas etapas distribuídas por mais de 20 aplicativos.

Resumo: o que é o ARTEMIS

• Ferramenta de automação para Android dirigida por instruções em linguagem natural.
• Opera apps reais em dispositivo conectado por ADB ou em emulador.
• Combina hierarquia de acessibilidade, OCR e localização visual para encontrar elementos da interface.
• Oferece modos Flash e Pro, com velocidades, controles e níveis de verificação diferentes.
• Tem interface web local, CLI, SDK Python e servidor MCP para agentes de código.
• É distribuído sob licença Apache 2.0.

O problema que o projeto tenta resolver

Automatizar Android de maneira robusta é difícil porque interfaces mudam, elementos podem aparecer fora da árvore de acessibilidade e tarefas reais atravessam vários aplicativos. Testes convencionais são excelentes quando a equipe conhece antecipadamente cada tela e cada seletor, mas podem ter dificuldade em exploração, reprodução de bugs pouco documentados e fluxos que mudam com o contexto.

O ARTEMIS propõe uma camada agêntica sobre o dispositivo. Em vez de escrever uma sequência fixa de passos, a pessoa descreve um objetivo, como abrir Configurações, localizar a bateria e informar o nível atual. O sistema observa a tela, decide uma ação, executa, registra evidências e continua até concluir, encontrar bloqueio ou atingir uma condição de verificação.

Como o ARTEMIS localiza elementos na tela

Segundo a documentação, a ferramenta prioriza índices e hierarquias de elementos quando estão disponíveis. Para interfaces customizadas, como Canvas, Jetpack Compose ou Flutter, ela pode recorrer a OCR e a modelos visuais para localizar alvos. Essa combinação tenta reduzir a dependência de um único tipo de seletor.

O projeto também instala, na primeira tarefa de um aparelho, o Artemis Accessibility Helper, serviço de acessibilidade que lê a estrutura da tela sem tomar a conexão UiAutomation. O repositório informa que o helper mostra uma notificação recolhida, cria uma entrada em Configurações > Acessibilidade e opera somente no telefone, sem enviar dados por conta própria. Caso ele falhe durante uma tarefa, o ARTEMIS declara que usa UIAutomator2 como fallback e registra essa mudança na linha do tempo e no relatório final.

Esse detalhe exige atenção de equipes de QA e segurança: serviços de acessibilidade têm permissões sensíveis. Antes de adotar o ARTEMIS em dispositivos corporativos, é recomendável revisar a política interna de testes, os dados presentes no aparelho e os controles para depuração e armazenamento de logs.

Dois perfis de execução: Flash e Pro

O ARTEMIS oferece dois perfis. O Flash prioriza velocidade e custo de contexto: executa um ciclo reativo de observar, raciocinar e agir, que o repositório estima em cerca de 3 a 5 segundos por etapa. É voltado a tarefas repetitivas e determinísticas, mas não produz plano formal, checkpoints, relatório final nem usa ADB shell.

O perfil Pro é indicado para investigação e testes mais exigentes. Ele usa um fluxo multiagente com planejador, operador e verificador de leitura. Cada ação passa por uma checagem prévia que cruza árvore de interface e pixels; ações bloqueadas abrem um incidente de execução para que o operador tente recuperação. O projeto também descreve verificação final, checkpoints configuráveis, histórico comprimido e suporte a fluxos longos com mais de 100 etapas.

Integração com Claude Code, Codex e outros agentes por MCP

O Model Context Protocol, ou MCP, é a ponte que permite a um assistente de programação acessar ferramentas externas com interfaces definidas. No caso do ARTEMIS, essa ponte permite que um agente como Claude Code ou Codex execute um cenário em um dispositivo real, colete screenshots e Logcat e devolva o diagnóstico para a conversa de desenvolvimento.

Na prática, isso pode encurtar a reprodução de uma falha. Em vez de um relatório vago como “o botão não responde no Android”, uma pessoa pode pedir que o agente siga o fluxo, capture evidências, identifique onde a execução falhou e gere material técnico para correção. A integração não remove a necessidade de revisar comandos: quem configura o agente continua responsável pelo que pode ser feito no aparelho e por quais dados estão disponíveis no ambiente de teste.

Interface web, CLI e SDK Python

O projeto oferece quatro formas de uso. A primeira é a interface web local, iniciada com uv run artemis ui, que mostra espelhamento de tela, painel de instruções, telemetria de execução, trajetórias de ações e replays. O serviço pode ser administrado por uv run artemis restart, stop e status.

A segunda é a CLI. Um exemplo documentado é:

uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash

A terceira é o servidor MCP, voltado a integrar o dispositivo a clientes compatíveis. A quarta é o SDK Python, que pode encaixar o ARTEMIS em frameworks de teste, como pytest, ou em pipelines de CI/CD com saídas estruturadas baseadas em Pydantic.

Como começar em macOS, Linux e Windows

O primeiro requisito é ter um dispositivo Android com Depuração USB ativada ou um emulador conectado. No macOS e Linux, o caminho oficial é clonar o repositório e executar o script de inicialização:

git clone https://github.com/google/artemis.git
cd artemis
./start.sh

No Windows PowerShell, a documentação orienta:

git clone https://github.com/google/artemis.git
cd artemis
.\start.bat

O script tenta detectar e instalar ferramentas como ADB, scrcpy, FFmpeg e dependências Python via uv. Depois da inicialização, o navegador deve abrir em http://localhost:8000 com assistente de conexão de dispositivo, espelhamento em tempo real, sandbox de prompts e replays de execução.

Para antecipar a instalação do helper de acessibilidade e evitar o atraso inicial informado de aproximadamente três segundos, a documentação oferece:

uv run artemis helper install
uv run artemis helper status
uv run artemis doctor

O helper pode ser removido com uv run artemis helper uninstall. Também é possível desabilitar sua instalação automática com ARTEMIS_HELPER_AUTO_INSTALL=false no arquivo .env ou escolher UIAutomator como backend com ARTEMIS_HIERARCHY_BACKEND=uiautomator.

O benchmark AndroidWorld e o que significa “99%+”

O repositório afirma que o ARTEMIS alcançou mais de 99% de conclusão no AndroidWorld, benchmark do Google Research com mais de 100 tarefas de múltiplas etapas em mais de 20 aplicativos. A métrica é relevante porque mede execução de objetivos, não apenas reconhecimento de um único botão.

Mas esse número deve ser interpretado no contexto do benchmark descrito pelo próprio projeto. Uma pontuação alta em um conjunto controlado não equivale automaticamente a desempenho idêntico em qualquer app de produção, com autenticação de terceiros, dados privados, rede instável, elementos A/B ou políticas corporativas. É uma indicação forte de capacidade técnica; a validação no aplicativo e no ambiente específicos continua necessária.

Arquitetura: observação, ação e histórico comprimido

A arquitetura documentada combina verificações pré-execução, rajadas de ações para controles transitórios, localização multimodal e histórico compartilhado. O ARTEMIS substitui screenshots antigas por resumos visuais e compacta etapas concluídas em blocos pesquisáveis, reduzindo a pressão sobre a janela de contexto em tarefas longas.

Essa arquitetura ajuda a explicar a diferença entre uma automação frágil e um agente de dispositivo: a ferramenta não depende apenas de uma sequência registrada. Ela confronta a ação com a interface ao vivo, pode tentar recuperar bloqueios e preserva rastros de execução para análise posterior.

Casos de uso que fazem sentido

• Reprodução de bugs: pedir que o agente execute os passos relatados, colete Logcat, screenshots e estado final.
• Testes de regressão exploratórios: verificar se fluxos críticos continuam navegáveis após uma mudança de interface.
• QA entre aplicativos: validar jornadas que atravessam Maps, navegador, autenticação ou outros aplicativos instalados.
• Validação de acessibilidade e estados incomuns: explorar controles customizados que nem sempre aparecem com bons seletores tradicionais.
• Pesquisa de estabilidade: rodar inspeções longas no modo Pro, registrando incidentes e checkpoints.

Limitações e cuidados antes de adotar

• O ARTEMIS controla um dispositivo real ou emulador; use contas de teste e dados não sensíveis sempre que possível.
• A automação pode tomar ações de alto impacto se o ambiente tiver permissões excessivas. Delimite o que o agente pode acessar.
• O modo Flash é rápido, mas abre mão de plano formal, checkpoints, relatório final e ADB shell.
• O modo Pro é mais completo, porém tende a ser mais lento por ação e exige maior atenção à configuração de modelo e verificações.
• O roadmap menciona integração nativa com Android Studio, expansão para iOS, modelos locais leves e interação por voz; esses itens não devem ser tratados como funcionalidades atuais.

Análise do NoticIA: a automação móvel está saindo do roteiro fixo

Na análise do NoticIA, o aspecto mais relevante do ARTEMIS é unir automação de dispositivo, telemetria e contexto de desenvolvimento em uma mesma ferramenta. O valor não está apenas em tocar na tela por comando natural, mas em transformar essa execução em evidência utilizável por quem precisa corrigir um aplicativo: logs, screenshots, replay, diagnóstico e relatório.

Se a promessa de confiabilidade se sustentar fora dos benchmarks, o projeto pode ser especialmente valioso em equipes que já usam assistentes de código, mas ainda perdem tempo para reproduzir comportamentos no Android. A adoção responsável, porém, depende de uma fronteira clara: dispositivos de teste, contas de teste, dados minimizados e revisão humana antes de qualquer fluxo que altere dados reais.