Cloudflare vai bloquear crawlers de agentes de IA a partir de 15 de setembro
A Cloudflare anunciou uma mudança significativa que afeta diretamente quem constrói agentes de IA: a partir de 15 de setembro de 2026, crawlers classificados como “Agent” e “Training” serão bloqueados por padrão em todas as páginas que exibem anúncios. A medida atinge a fatia da web que está atrás da CDN da Cloudflare — estimada em cerca de 20% do tráfego global da internet.
A empresa substituiu seu antigo botão único de bloqueio de bots de IA por três categorias distintas: Search (indexação para busca), Agent (sistemas automatizados que agem em tempo real, incluindo o fetch bot do ChatGPT e agentes que dirigem navegadores) e Training (crawlers que alimentam modelos). Os controles estão disponíveis desde 1º de julho para todos os clientes, inclusive o plano gratuito.
O que muda na prática
O novo padrão afeta três grupos: domínios que entrarem na Cloudflare após a data, novos sites de clientes existentes, e todos os clientes do plano gratuito. As páginas com anúncio são exatamente as que os agentes mais precisam acessar — notícias, reviews, páginas de preços e cobertura de produtos.
Segundo Matthew Prince, CEO da Cloudflare, o raciocínio é simples: um anúncio prova que a página foi feita para um humano. Um crawler de busca que envia o leitor de volta é uma referência. Um bot que lê e entrega a resposta para outra pessoa, não.
A complicação do Google
Existe uma armadilha técnica importante: o Googlebot faz tanto busca quanto treinamento como um único crawler. Isso significa que um site que bloqueie Training também bloqueia o Googlebot — e perde visibilidade nos resultados de busca. Prince disse esperar que a mudança “encoraje crawlers de uso misto a separar busca de uso por agentes e treinamento”, o que é uma forma diplomática de dizer que a pressão é intencional.
O caminho para quem constrói agentes
Para times que operam agentes em produção, o primeiro passo é identificar quais contas Cloudflare serão classificadas como Agent. A classificação é comportamental, não algo que você opta por entrar — um agente de pesquisa que navega em tempo real é capturado, independentemente de como seu operador o classifique.
O modo de falha não será limpo: o bloqueio atinge páginas com anúncio, mas deixa o restante acessível. O agente não recebe um erro — ele recebe silêncio, ou respostas construídas apenas com o que conseguiu alcançar. A saída não é reescrever user-agent strings, é negociar acesso.
O dinheiro como mecanismo
O modelo Pay Per Crawl está evoluindo para Pay Per Use. A Ceramic.ai já paga publishers quando o conteúdo aparece em resultados de busca de IA. O You.com paga quando um agente acessa conteúdo premium. A Cloudflare afirma que mais da metade do tráfego de crawlers de IA é gasto re-buscando páginas que não mudaram — há desperdício dos dois lados.
Esta é a primeira rodada da briga pelo conteúdo, onde a resposta oferecida é uma taxa, não um muro.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
