最近、RedditのCEOであるスティーブ・ハフマン氏はインタビューで、同社は主要テクノロジー企業とデータ利用に関する契約を結ぶことを目指しており、Redditのデータのスクレイピングを継続したい企業は料金を支払う必要があると述べました。この動きは、RedditとGoogle、OpenAIとの間で既に締結されている契約に基づいており、ハフマン氏は他の企業にも同様の契約を結ぶことを期待しています。
ハフマン氏は特に、マイクロソフト、Anthropic、Perplexityがデータ利用に関する交渉を拒否したことを指摘し、「これらの企業をブロックするのは本当に面倒だ」と述べました。彼は、関連する契約がない場合、Redditはデータの使用方法や目的を管理または把握することができず、そのため、条件を受け入れようとしない企業をブロックせざるを得ないと述べています。
この状況に対処するため、Redditはここ数ヶ月、ウェブクローラーに対する制限を強化しています。7月初旬、同社はrobots.txtファイルを更新し、契約を締結していないクローラーによるアクセスを阻止しました。その後、ユーザーはRedditのコンテンツが、契約を結んでいるGoogleの検索結果にのみ表示され、Bingなどの他の検索エンジンでは表示されなくなっていることを発見しました。
ハフマン氏は、マイクロソフトが許可なくRedditのデータを使用してAIをトレーニングし、Bing APIを通じて他の検索エンジンにコンテンツを販売していると批判しました。彼はマイクロソフトAIのCEOの発言を引用し、インターネット上の公開データは「フリーソフトウェア」であると述べています。ハフマン氏は、この見解は一部のテクノロジー企業のインターネットコンテンツに対する姿勢を表していると述べています。
BingでRedditのコンテンツが表示されなくなったことについて、マイクロソフト検索担当責任者のJordi Ribas氏は、RedditがBingによるウェブサイトのクロールを阻止したためだと述べています。マイクロソフトの広報担当者は、同社はウェブサイト提供者によるコンテンツ利用に関する指示を尊重すると強調しています。
ハフマン氏は、従来の検索エンジンの価値交換モデルが変化したと指摘しています。検索、要約、AIトレーニングの融合により、単にトラフィックと引き換えにコンテンツを提供するというモデルは複雑になっています。彼は、Redditは従来のメディア出版社と共に、生成AIに情報を提供するための有料モデルを模索していると述べています。
これに対し、AnthropicはRedditをクローラーのブラックリストに追加し、robots.txtの設定を尊重していると述べています。マイクロソフトはこれについてコメントを拒否し、Perplexityはコメント要請に応答しませんでした。
この論争は、デジタル時代のコンテンツの価値と利用権の複雑さを浮き彫りにし、テクノロジー企業とコンテンツ提供者間の新たな協力モデルが出現する可能性を示唆しています。
