MobileLLM ist ein für mobile Geräte optimiertes, kleines Sprachmodell, das sich auf die Entwicklung hochwertiger LLMs mit weniger als einer Milliarde Parametern konzentriert, um die Praktikabilität der mobilen Bereitstellung zu gewährleisten. Im Gegensatz zur traditionellen Auffassung betont diese Studie die Bedeutung der Modellarchitektur bei kleinen LLMs. Durch eine tiefe und schlanke Architektur in Kombination mit eingebettetem Sharing und gruppierter Query-Aufmerksamkeitsmechanismen erzielt MobileLLM eine deutliche Verbesserung der Genauigkeit und stellt eine Methode zum blockweisen Gewichts-Sharing vor, die die Modellgröße nicht erhöht und nur geringe Latenzkosten verursacht. Darüber hinaus zeigt die MobileLLM-Modellfamilie in Chat-Benchmark-Tests im Vergleich zu vorherigen kleinen Modellen eine deutliche Verbesserung und nähert sich in API-Aufruf-Aufgaben der Genauigkeit von LLaMA-v2 7B an, was die Fähigkeiten kleiner Modelle in gängigen Geräteanwendungsfällen hervorhebt.