近日，一项调查发现，数百个网站试图阻止人工智能公司Anthropic抓取其内容，却因为使用过时的指令而屏蔽了错误的机器人。这一现象突显了当前网站所有者在应对不断变化的AI爬虫生态系统时面临的困境。

Anthropic的ClaudeBot网络爬虫在24小时内频繁访问iFixit网站，涉嫌违反使用条款，未经授权使用内容并消耗开发资源。iFixit已通过在robots.txt中添加crawl-delay扩展限制爬虫访问。此事件也波及其他网站，如Read the Docs和Freelancer.com。AI公司如OpenAI通过robots.txt拒绝爬虫访问，但不提供灵活定义访问权限的选项。Perplexity公司被发现忽略robots.txt规则。尽管如此，使用robots.txt仍然是保护数据不被用于AI训练的常见策略之一。Reddit最近也采取行动打击网络爬虫。