MobileLLM-125M Meta द्वारा विकसित एक स्वतः-पुनरावर्ती भाषा मॉडल है, जो संसाधन-सीमित उपकरण-पक्ष अनुप्रयोगों के लिए डिज़ाइन किए गए अनुकूलित ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है। इस मॉडल में कई महत्वपूर्ण तकनीकें शामिल हैं, जिनमें SwiGLU सक्रियण फ़ंक्शन, गहरी पतली संरचना, एम्बेडिंग साझाकरण और समूहीकृत क्वेरी ध्यान शामिल हैं। शून्य-शॉट सामान्य ज्ञान अनुमान कार्यों पर MobileLLM-125M/350M ने पिछली पीढ़ी के 125M/350M SoTA मॉडल की तुलना में क्रमशः 2.7% और 4.3% की सटीकता में वृद्धि हासिल की है। इस मॉडल की डिज़ाइन अवधारणा को बड़े मॉडल में प्रभावी ढंग से बढ़ाया जा सकता है, MobileLLM-600M/1B/1.5B ने SoTA परिणाम प्राप्त किए हैं।