世界的に有名なネットワークインフラストラクチャ企業Cloudflareは最近、「AI Labyrinth」（AI迷宮）という新しいツールを発表しました。これは、ウェブサイトデータの無許可スクレイピングを行うウェブクローラに対抗することを目的としています。
Cloudflareが不正なクローラを検出すると、このツールはクローラをAIが生成した一連の偽のページに誘導します。目的は、悪意のあるクローラの資源を「遅延させ、混乱させ、浪費させる」ことです。
長年、ウェブサイト管理者は「robots.txt」ファイルを使用してクローラのアクセス権限を管理してきましたが、AnthropicやPerplexity AIなどの多くのAI企業、中には有名な企業も含まれており、このルールを無視することがよくあります。Cloudflareは、毎日500億件以上のクローラリクエストに直面しており、悪意のあるリクエストを識別してブロックする能力はあるものの、これにより攻撃者は戦略を継続的に調整し、「終わりのない軍拡競争」を引き起こすことがよくあります。
これらのクローラを単純にブロックするのではなく、CloudflareのAI Labyrinthは能動的なアプローチを選択しました。このツールは、クローラが対象となるウェブサイトデータとは無関係な情報を処理せざるを得なくなり、それらのクローラを偽の情報の中に閉じ込めます。Cloudflareは、AI Labyrinthが単なる「次世代のデコイ」ではなく、悪意のあるクローラを特定し、新しいクローラのパターンや特徴を理解するのに役立つと強調しています。これらのリンクは一般ユーザーには見えないため、ユーザーの邪魔になることはありません。
Cloudflareの説明によると、ウェブサイト管理者はCloudflareダッシュボードの「クローラ管理」セクションで、AI Labyrinthを有効にするかどうかを選択できます。この新機能の導入は、生成AIを使用してクローラに対抗するための最初のステップに過ぎず、Cloudflareはクローラが偽のデータを識別しにくくするための「完全なリンクURLネットワーク」の構築も計画しています。注目すべきは、AI LabyrinthはNepenthesツールと似ており、後者はクローラを数ヶ月間「遅延させ」、大量のAI生成されたゴミデータの中に閉じ込めるように設計されています。
公式ブログ：https://blog.cloudflare.com/ai-labyrinth/
要点：
🕷️ Cloudflareは悪意のあるデータスクレイピングを行うウェブクローラに対抗するために「AI Labyrinth」を発表しました。
🔗 新しいツールはAIが生成した偽のページを使用して、クローラを無意味な情報の中に誘導し、リソースを浪費させます。
💡 ウェブサイト管理者はCloudflareダッシュボードでこの機能を有効にすることができ、将来的にはより複雑なリンクネットワークに拡張される予定です。
