『エコノミスト』誌の記事によると、AI企業はインターネット上の高品質データの枯渇により「データの壁」という課題に直面しており、2028年までにすべての高品質テキストデータが使い果たされる可能性があり、機械学習の進歩に影響を与えると予測している。カリフォルニア大学バークレー校のStuart Russell教授は、ChatGPTなどのAIが宇宙のテキストを使い果たす可能性があると警告した。しかし、スタンフォード大学の李飛飛教授は、依然として多くの差別化されたデータが掘り起こせる可能性があると述べている。データ不足に対処するために、合成データの使用が考えられる解決策として挙げられているが、『ネイチャー』誌の論文では使用について言及している。

アンドリュー・ン氏(吴恩达)は、データと機械学習の組み合わせがテクノロジー市場におけるリーダーの優位性を強化し続けると主張しています。一方、a16zのパートナーは、各モデルは単一のタスクに特化し、データ量が多いほど必ずしも優れた製品になるとは限らないという見解を示しています。業界やユースケースによって「勝者総取り」の状況は異なり、個別に分析する必要があります。インターネット時代の投資論理は、計算コストを考慮しなければならないAI時代には通用しません。小規模で専門的なロングテールモデルにも優位性があり、富の分配はより公平になる可能性があります。