Anthropicが使用するClaudeBotウェブクローラーが、iFixitウェブサイトに24時間以内に頻繁にアクセスしており、同社の利用規約に違反している可能性があります。
iFixitのCEO、Kyle Wiens氏は、これはコンテンツの無許可使用だけでなく、開発リソースの浪費でもあると述べています。これを受け、iFixitはrobots.txtにcrawl-delay拡張機能を追加して、クローラーアクセスを制限しました。
iFixit以外にも、Read the Docsの共同設立者Eric Holscher氏とFreelancer.comのCEO Matt Barrie氏も、自社のウェブサイトがAnthropicのクローラーによる侵害を受けていると述べています。
数ヶ月前、Redditの投稿でAnthropicのウェブスクレイピング活動が急増していることが報告されました。今年4月には、Linux Mintのウェブフォーラムのサイト障害もClaudeBotのスクレイピング活動が原因であるとされています。
OpenAIなどの多くのAI企業は、robots.txtファイルを使用してクローラーアクセスを拒否していますが、これはウェブサイトの所有者が取得を許可または禁止するコンテンツを柔軟に定義できるオプションを提供するものではありません。別のAI企業であるPerplexityは、robots.txtの除外ルールを完全に無視していることが判明しました。
それにもかかわらず、これは多くの企業がデータをAIトレーニング素材として使用されないように保護するための選択肢の一つであり、Redditも最近、ウェブクローラー対策に乗り出しています。
