हाल ही में एक जांच में पाया गया कि सैकड़ों वेबसाइटें कृत्रिम बुद्धिमत्ता कंपनी Anthropic को अपनी सामग्री को स्क्रैप करने से रोकने की कोशिश कर रही हैं, लेकिन पुरानी निर्देशों के उपयोग के कारण गलत बॉट को अवरुद्ध कर दिया गया। यह स्थिति वर्तमान वेबसाइट मालिकों के लिए बदलते एआई स्क्रैपिंग पारिस्थितिकी तंत्र का सामना करने में आने वाली दिक्कत को उजागर करती है।

Anthropic का ClaudeBot वेब क्रॉलर 24 घंटों के भीतर iFixit वेबसाइट पर बार-बार दौरा कर रहा था, जो उपयोग की शर्तों का उल्लंघन करने का आरोप लगाया गया है, बिना अनुमति के सामग्री का उपयोग करना और विकास संसाधनों का उपभोग करना। iFixit ने क्रॉलिंग को सीमित करने के लिए robots.txt में crawl-delay जोड़कर क्रॉलर की पहुंच को प्रतिबंधित किया है। इस घटना का प्रभाव अन्य वेबसाइटों जैसे Read the Docs और Freelancer.com पर भी पड़ा है। एआई कंपनियाँ जैसे OpenAI ने robots.txt के माध्यम से क्रॉलर की पहुंच से इनकार किया।