最近の調査によると、数百のウェブサイトがAI企業Anthropicによるコンテンツのスクレイピングを阻止しようと試みていますが、時代遅れの指示を使用しているため、誤ったボットをブロックしてしまっています。この現象は、変化し続けるAIクローラーのエコシステムに対処する上で、現在のウェブサイト所有者が直面する困難さを浮き彫りにしています。

AnthropicのClaudeBotウェブクローラーが24時間以内にiFixitウェブサイトに頻繁にアクセスし、利用規約に違反し、無許可でコンテンツを使用し、開発リソースを消費した疑いがあります。iFixitはrobots.txtにcrawl-delay拡張を追加することでクローラーアクセスを制限しました。この事件は、Read the DocsやFreelancer.comなどの他のウェブサイトにも波及しました。OpenAIなどのAI企業はrobots.txtでクローラーアクセスを拒否しています