MobileLLMは、モバイルデバイス向けに最適化された小型言語モデルです。10億パラメーター未満の高品質LLMの設計に重点を置き、モバイル展開の実用性を重視しています。従来の考えとは異なり、本研究では小型LLMにおけるモデルアーキテクチャの重要性を強調しています。深層かつ薄型アーキテクチャと、埋め込み共有およびグループ化クエリ・アテンション機構を組み合わせることで、MobileLLMは精度の大幅な向上を実現し、モデルサイズを増やすことなく遅延オーバーヘッドの少ないブロックレベルの重み共有手法を提案しています。さらに、MobileLLMモデルファミリーは、チャットベンチマークテストにおいて、従来の小型モデルと比較して顕著な改善を示し、API呼び出しタスクではLLaMA-v2 7Bに匹敵する精度を実現しており、小型モデルが一般的なデバイスのユースケースにおける能力の高さを示しています。