Criação agentiva de testes: por que pedir casos de teste para o ChatGPT não é mais suficiente

Criação agentiva de testes: por que “pedir casos de teste para o ChatGPT” não é mais suficiente

Durante anos, a “geração de testes com IA” significou basicamente uma coisa: colar uma história de usuário em um prompt, enviar para um LLM e receber de volta uma lista de casos de teste. É o ChatGPT com skin de QA — e, como muita coisa que os LLMs produzem, o resultado impressiona à primeira vista, mas desmorona sob escrutínio.

A indústria começou a chamar a abordagem mais sofisticada de criação agentiva de testes (agentic test creation). A diferença entre ela e a simples geração de testes com IA é muito maior do que os nomes sugerem. E entender essa distinção é crucial para não ser enganado pelo marketing de ferramentas.

O problema da geração simples de testes

O fluxo típico da primeira geração: você cola um ticket do Jira, o sistema empacota em um prompt, envia para um LLM genérico e devolve a resposta como casos de teste. Para这个故事 “Como cliente recorrente, quero aplicar um código promocional no checkout”, você recebe em segundos uma dúzia de casos plausíveis testando código válido, inválido, expirado, campo vazio e sensibilidade a maiúsculas.

Mas quando você roda esses testes contra uma suíte de regressão madura de e-commerce, o que acontece?

• O modelo fez exatamente o que foi pedido — sem contexto do que já existe.
• Casos de teste duplicados se acumulam.
• O tempo de regressão cresce.
• Cópias quase idênticas do mesmo teste divergem ao longo do tempo.
• Você termina com um repositório em que ninguém confia.

O problema não é a qualidade da resposta do LLM. É a falta de contexto. O modelo não sabe quais testes já existem, não entende a arquitetura do sistema, não consulta a base de código.

O que muda com a abordagem agentiva

A criação agentiva de testes é um workflow de múltiplas etapas em que um agente de IA, diante de um requisito, planeja e executa um processo que inclui:

1. Analisar o requisito para extrair o comportamento esperado.
2. Consultar a base de código para entender a arquitetura e o contexto existente.
3. Mapear a cobertura atual de testes para identificar lacunas e evitar duplicação.
4. Gerar casos de teste que preencham precisamente essas lacunas.
5. Submeter para revisão humana como etapa final de validação.

A palavra “agentivo” é importante aqui. Uma chamada única de LLM é uma função sem estado: prompt entra, texto sai. Um agente é um loop: o modelo raciocina sobre um objetivo, chama ferramentas para obter informações, observa os resultados e revisa seu plano antes de produzir o resultado final. O paper ReAct formalizou esse ciclo de “raciocínio + ação”, e o guia Building Effective Agents da Anthropic é o tratamento mais claro para profissionais.

O papel do QA muda — mas não desaparece

A principal transformação com a criação agentiva de testes não é a eliminação do engenheiro de QA, mas a mudança de função: de autor para revisor. Em vez de escrever manualmente a décima quinta variação de um teste de checkout, o profissional avalia, aprova ou rejeita o que o agente produziu.

A responsabilidade continua sendo humana — o sign-off final é obrigatório. Mas as horas antes gastas transcrevendo requisitos em passos de teste são redirecionadas para atividades em que modelos ainda são fracos: testes exploratórios, análise de riscos e decisões sobre o que deveria ser testado — a parte mais estratégica do trabalho.

Limitações reais da abordagem

A criação agentiva de testes não é uma bala de prata. Três ressalvas importantes:

• Custo e latência: O loop de contexto adiciona chamadas extras ao modelo e consultas à base de código. Você pagará mais por requisito do que com geração simples.
• Qualidade do repositório: O mapeamento de cobertura é tão bom quanto sua biblioteca de testes. Um repositório bagunçado gera saída bagunçada.
• Fadiga do revisor: Um gate de revisão só funciona se os revisores permanecerem engajados. Aprovar um lote de 30 casos às 18h de sexta-feira pode falhar tão facilmente quanto sempre falhou.

Construir ou comprar?

Existem dois caminhos: adquirir um produto comercial ou construir sua própria pipeline agentiva. O produto comercial oferece integração pronta, mas com menos controle. A rota “construir” exige mais esforço inicial, mas permite adaptar o agente à arquitetura específica do seu sistema.

Em ambos os casos, o princípio é o mesmo: transcrever manualmente histórias de usuário em passos de teste nunca agregou valor à propriedade intelectual de ninguém. A criação agentiva de testes envia essa tarefa de transcrição para a máquina — onde ela pertence — e deixa o profissional de QA livre para ser o que sempre deveria ser: o guardião da qualidade, não o digitador de cenários.