OpenAIとDeepMindは、スケーリング則研究において異なる視点とアプローチを取っています。スケーリング則は、大規模モデルのパラメータ数、データ量、計算量の変動に伴う損失変化を予測するものです。この競争は、人工知能の発展と人とAIが共存する未来の形成を促進します。大規模言語モデルの事前学習には、モデルサイズ、データ量、トレーニングコストのトレードオフが伴います。スケーリング則は、最適な設計意思決定を支援します。DeepMindは、モデルサイズとデータ量を同等に拡大すべきだと提唱しています。OpenAIは...