MobileLLM-350M ist ein von Meta entwickeltes autoregressives Sprachmodell, das eine optimierte Transformer-Architektur verwendet und speziell für die Verwendung auf Geräten in ressourcenbeschränkten Umgebungen entwickelt wurde. Das Modell integriert Schlüsseltechnologien wie die SwiGLU-Aktivierungsfunktion, eine tiefe und schlanke Architektur, eingebettetes Teilen und gruppierte Query-Attention. Dadurch wird eine deutliche Verbesserung der Genauigkeit bei Zero-Shot-Schlussfolgerungsaufgaben erreicht. MobileLLM-350M bietet bei geringer Modellgröße eine mit größeren Modellen vergleichbare Leistung und ist somit ideal für natürliche Sprachverarbeitungsanwendungen auf Geräten.