MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。