MobileLLM-600Mは、Metaが開発した自己回帰言語モデルであり、リソースの制約されたデバイス向けアプリケーション用に設計された、最適化されたTransformerアーキテクチャを採用しています。このモデルは、SwiGLU活性化関数、深層薄型アーキテクチャ、埋め込み共有、グループ化クエリ注意機構などの重要な技術を統合しています。MobileLLM-600Mは、ゼロショット常識推論タスクにおいて顕著な性能向上を実現し、以前の1億2500万/3億5000万パラメーターの最先端モデルと比較して、それぞれ2.7％/4.3％の精度向上を達成しました。このモデルの設計理念は、MobileLLM-1B/1.5Bなどのより大規模なモデルにも拡張でき、いずれも最先端の結果を達成しています。