人工知能分野におけるデータ取得の困難さが増しています。研究によると、かつて容易に入手できたウェブデータが、現在ではアクセスしにくくなっており、AIの学習や学術研究に影響を与えています。MITなどの機関による研究では、複数のオープンソースデータセットのクロール元サイトがライセンス契約を強化し、データ取得を制限していることが判明しました。これは、商業的なAIモデルの学習に課題をもたらすだけでなく、学術研究や非営利研究にも支障をきたします。ロボット排除プロトコルとウェブサイト利用規約を研究手法として用いることで、研究チームは今後、ウェブサイトによるデータ制限がさらに増加すると予測しています。データ取得の困難さは、…