MobileLLM-350MはMetaによって開発された、自己回帰型言語モデルです。最適化されたTransformerアーキテクチャを採用しており、リソースの限られた環境でのデバイス向けアプリケーションに適しています。SwiGLU活性化関数、深層薄型アーキテクチャ、埋め込み共有、グループ化クエリ・アテンションなどの重要な技術を統合することで、ゼロショット常識推論タスクにおける精度の大幅な向上を実現しています。MobileLLM-350Mは、小さなモデルサイズを維持しながら、より大きなモデルに匹敵する性能を提供し、デバイス上の自然言語処理アプリケーションに最適な選択肢です。