Nos últimos anos, com o rápido desenvolvimento da tecnologia de inteligência artificial, a pressão de largura de banda causada por crawlers de web nos projetos Wikimedia tem aumentado significativamente. Representantes da Wikimedia Foundation apontaram que, desde janeiro de 2024, o consumo de largura de banda para servir arquivos multimídia aumentou 50%. Esse crescimento é principalmente devido a programas automatizados que continuamente extraem conteúdo da biblioteca de imagens de licença aberta da Wikimedia para treinamento de modelos de IA.
Em uma carta aberta, os funcionários da Wikimedia Foundation, Birgit Mueller, Chris Danis e Giuseppe Lavagetto, afirmaram que esse aumento de largura de banda não se deve a usuários humanos, mas à forte demanda de programas robóticos. Eles enfatizaram: "Nossa infraestrutura é projetada para suportar picos de tráfego de usuários humanos durante eventos de alto interesse, mas o tráfego gerado por crawlers é sem precedentes, apresentando riscos e custos cada vez maiores para nós."
De acordo com as estatísticas da Wikimedia, cerca de 65% do tráfego de conteúdo de alto custo é gerado por esses crawlers, embora os crawlers representem apenas 35% das visualizações de páginas. Isso ocorre porque o esquema de cache da Wikimedia distribui conteúdo popular para data centers em todo o mundo para melhorar o desempenho, enquanto os crawlers não consideram a popularidade do conteúdo ao acessar páginas, portanto, solicitam conteúdo menos popular, o que exige que o conteúdo seja recuperado do data center central, consumindo mais recursos de computação.
No último ano, o problema da extração excessiva por crawlers tem chamado a atenção de vários projetos de código aberto. Por exemplo, o serviço de hospedagem Git Sourcehut, o desenvolvedor do Diaspora Dennis Schubert, o site de reparo iFixit e o ReadTheDocs expressaram sua insatisfação. Todos eles refletem a demanda excessiva demonstrada pelos crawlers de IA na extração de conteúdo.
Em seu planejamento anual de 2025/2026, a Wikimedia Foundation estabeleceu a meta de "reduzir o tráfego gerado por crawlers", planejando reduzir a taxa de solicitações em 20% e o uso de largura de banda em 30%. Eles esperam priorizar a experiência do usuário humano e apoiar os projetos e contribuidores da Wikimedia.
Embora muitos sites reconheçam que fornecer largura de banda para crawlers faz parte dos negócios, com a popularização de IAs generativas como o ChatGPT, o comportamento de extração dos crawlers tornou-se cada vez mais agressivo, podendo até ameaçar a existência do site de origem. A Wikimedia Foundation reconhece que, embora a Wikipédia e o Wikimedia Commons sejam muito importantes para o treinamento de modelos de aprendizado de máquina, eles devem priorizar as necessidades dos usuários humanos.
Para enfrentar esse desafio, surgiram algumas ferramentas para combater a extração excessiva por crawlers, como os projetos de envenenamento de dados Glaze, Nightshade e ArtShield, e as ferramentas da web Kudurru, Nepenthes etc. No entanto, os protocolos de robôs existentes (robots.txt) não são totalmente eficazes para restringir o comportamento desses crawlers, especialmente porque eles podem se disfarçar de outros crawlers para evitar bloqueios.
Destaques:
🌐 O consumo de largura de banda da Wikimedia por crawlers aumentou 50%, principalmente devido à extração de conteúdo por modelos de IA.
🤖 Cerca de 65% do tráfego de conteúdo de alto custo é gerado por crawlers, embora os crawlers representem apenas 35% das visualizações de páginas.
📉 A Wikimedia Foundation planeja reduzir o tráfego gerado por crawlers em 2025/2026, priorizando as necessidades dos usuários humanos.
