Um número que assusta
O mantenedor do git.kernel.org, Konstantin Ryabitsev, publicou números concretos sobre o impacto dos crawlers de IA nos servidores do kernel Linux. A conclusão é dura: a infraestrutura gasta mais ciclos de CPU renderizando commits para scrapers do que com todos os outros tipos de acesso legítimo combinados — incluindo os clones de git.
“Em qualquer momento, em cinco nós geograficamente distribuídos, há 14 núcleos de CPU fazendo nada além de renderizar commits como HTML”, escreve Ryabitsev.
Dos 90 núcleos do projeto, entre 14 e 16 ficam permanentemente ocupados com scrapers — cerca de 20% de toda a capacidade, sem contar os picos, quando os “enxames” descem em ondas.
Por que o kernel é um alvo
O desenvolvimento do Linux acontece abertamente, e todo o histórico de commits é um repositório garantidamente livre de conteúdo gerado por IA. Para quem treina modelos, isso é ouro: treinar uma IA com conteúdo produzido por IA gera o que Ryabitsev chama de “doença de príon digital”. Uma fonte garantidamente “pré-IA” vale muito.
O absurdo, segundo ele, é o método: em vez de simplesmente clonar os repositórios (o jeito eficiente), os crawlers renderizam cada commit como HTML e depois fazem parsing. O linux.git tem cerca de 1,48 milhão de commits e 922 forks — o que gera bilhões de URLs válidas para scraping.
A escalada de uma guerra silenciosa
Bloquear os bots virou uma corrida de gato e rato. Primeiro era fácil: os bots se identificavam pelo user-agent. Depois passaram a fingir que eram navegadores comuns. Veio o banimento por IP, depois por subredes inteiras, depois por ASN. Até que os crawlers começaram a vir de milhões de IPs residenciais e móveis aleatórios, fazendo quatro ou cinco requisições e sumindo.
É o mundo da “monetização de SDKs de proxy” — e, como Ryabitsev aponta, sua smart TV provavelmente está fazendo isso.
Há cerca de um ano, o projeto instalou o Anubis, um desafio de prova de trabalho (proof-of-work), na frente de tudo. Funcionou por meses — até os bots aprenderem a resolver a dificuldade 4 e, depois, a 5.
Onde estamos agora
Hoje o git.kernel.org recebe cerca de 6 milhões de requisições diárias. Dois terços são barrados pelo desafio do Anubis, mas um terço resolve a matemática e chega ao site — sinal de que o conteúdo vale o custo computacional. Com suposições generosas, apenas 2% do tráfego é legítimo.
Sem soluções simples no horizonte, o projeto está desligando funcionalidades para reduzir o número de URLs rastreáveis. “Não há soluções fáceis”, lamenta Ryabitsev. “Os dados continuarão disponíveis para download para quem pedir — você só terá que pular mais obstáculos para obtê-los.”
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
