A Cloudflare acaba de estabelecer um novo prazo para a indústria de IA: a partir de 15 de setembro de 2026, a configuração padrão da empresa vai bloquear crawlers de “uso misto” em qualquer página que hospede anúncios. Esses crawlers são aqueles que combinam indexação para busca tradicional, uso por agentes de IA e treinamento de modelos — uma prática que a Cloudflare quer ver separada de forma clara e transparente.
O anúncio, feito nesta quarta-feira (1º de julho), afeta diretamente como as empresas de IA acessam conteúdo da web para treinar seus modelos e alimentar serviços agentivos. A mudança será aplicada a novos clientes da Cloudflare, novos sites de clientes existentes e todos os clientes gratuitos atuais — a menos que o proprietário do site ajuste manualmente as configurações.
O alvo principal: Google
A Cloudflare faz uma referência nada velada ao “maior mecanismo de busca do mundo”, afirmando que ele tem acesso a “cerca de 2 vezes mais informações” do que outras empresas de IA. O argumento é que o Google torna difícil para os sites permanecerem indexáveis sem que seu conteúdo seja usado para fins de IA — incluindo o Googlebot, que alimenta funcionalidades como AI Overviews e AI Mode.
O Google já rebateu esse argumento no passado, destacando que oferece o “Google Extended”, um bot separado que permite que proprietários de sites impeçam o uso de seu conteúdo para treinamento e produtos como Gemini Apps e Vertex API, sem afetar a inclusão na Busca.
De Pay Per Crawl a Pay Per Use
“Agora que a maioria do tráfego na internet não é humano, precisamos ir além e agir mais rápido para que um ecossistema sustentável possa emergir”, disse Matthew Prince, cofundador e CEO da Cloudflare, referindo-se ao marco recente em que bots superaram o tráfego humano online pela primeira vez.
A Cloudflare já vinha desenvolvendo ferramentas para dar mais controle aos publicadores na era da IA — incluindo o “Pay Per Crawl”, um marketplace que permite que sites cobrem bots de IA pelo scraping de seu conteúdo. Agora, esse produto evolui para “Pay Per Use”, permitindo que publicadores cobrem quando seu conteúdo gera valor, e não apenas quando é acessado.
A empresa está trabalhando inicialmente com dois parceiros — Ceramic.ai e You.com. Quando um publicador opta por participar, ele é pago quando seu conteúdo aparece nos resultados de busca com IA do Ceramic ou quando o You.com acessa conteúdo premium. Outras empresas de IA poderão customizar esse modelo.
Mais da metade do tráfego de crawlers é desperdiçado
Um dado revelador: segundo a Cloudflare, mais de 50% do tráfego de crawlers de IA é gasto refazendo fetching de páginas que não mudaram. A nova política também deve ajudar a conservar largura de banda e recursos computacionais dos publicadores.
A medida representa um passo significativo na discussão sobre propriedade intelectual, fair use e compensação no ecossistema da IA. Com o tráfego de bots já superando o humano, a pergunta deixa de ser “se” os publicadores devem ser compensados, mas “como” esse mercado vai funcionar na prática.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
