MobileLLM-125M
高效优化的小型语言模型,专为设备端应用设计。
普通产品编程语言模型设备端应用
MobileLLM-125M是由Meta开发的自动回归语言模型,它利用优化的变换器架构,专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型,MobileLLM-600M/1B/1.5B均取得了SoTA结果。
MobileLLM-125M 最新流量情况
月总访问量
20899836
跳出率
46.04%
平均页面访问数
5.2
平均访问时长
00:04:57