MobileLLM-125MはMetaによって開発された、自己回帰言語モデルです。最適化されたTransformerアーキテクチャを利用しており、リソースの限られたデバイス向けアプリケーション用に設計されています。このモデルは、SwiGLU活性化関数、薄い深層アーキテクチャ、埋め込み共有、グループ化クエリアテンションなど、複数の重要な技術を統合しています。MobileLLM-125M/350Mは、ゼロショット常識推論タスクにおいて、前世代の125M/350M SoTAモデルと比較して、それぞれ2.7％と4.3％の精度向上を実現しました。このモデルの設計理念は、より大規模なモデルにも効果的に拡張でき、MobileLLM-600M/1B/1.5BもSoTAの結果を達成しています。