最近の調査によると、数百のウェブサイトがAI企業Anthropicによるコンテンツのスクレイピングを阻止しようと試みていますが、時代遅れの指示を使用しているため、誤ったボットをブロックしてしまっています。この現象は、変化し続けるAIクローラーのエコシステムに対処する上で、現在のウェブサイト所有者が直面する困難さを浮き彫りにしています。

AnthropicのClaudeBotウェブクローラーが24時間以内にiFixitウェブサイトに頻繁にアクセスし、利用規約に違反し、無許可でコンテンツを使用し、開発リソースを消費した疑いがあります。iFixitはrobots.txtにcrawl-delay拡張を追加することでクローラーアクセスを制限しました。この事件は、Read the DocsやFreelancer.comなどの他のウェブサイトにも波及しました。OpenAIなどのAI企業はrobots.txtでクローラーアクセスを拒否しています

Redditは最近、データ保護対策を強化すると発表し、AI企業やその他のデータ収集ツールを直接的にターゲットにしました。この動きは、ソーシャルメディアプラットフォームとAI業界の緊張関係の高まりを示しています。