小型言語モデルの新しい訓練方法

マイクロソフトの研究者らが論文で発表した、小型言語モデルを訓練する新しい方法とは、童話を使った訓練です。

大型言語モデルの訓練と比べて、この方法は訓練速度が速く、内部の動作メカニズムも理解しやすいのが特徴です。

研究によると、童話で訓練された小型言語モデルは、筋の通った文法的に正しい物語を語ることができ、優れた性能を示しました。

この方法は、言語モデルの動作を分析するのに役立つだけでなく、より大型のモデルを訓練するための研究方向も示唆しています。

研究者らは、小型言語モデルの訓練を「ヒトゲノムではなくショウジョウバエのゲノムを解読するようなもの」と表現し、言語モデルを探求する効果的な方法だと述べています。