MobileLLM est un modèle linguistique miniature optimisé pour les appareils mobiles. Il se concentre sur la conception de LLM de haute qualité comptant moins d'un milliard de paramètres, afin de répondre aux exigences pratiques du déploiement mobile. Contrairement à la croyance populaire, cette recherche met l'accent sur l'importance de l'architecture du modèle dans les petits LLM. Grâce à une architecture profonde et mince, combinée à un partage d'embeddings et à un mécanisme d'attention d'interrogation groupée, MobileLLM a réalisé une amélioration significative de la précision et propose une méthode de partage de poids par blocs qui n'augmente pas la taille du modèle et minimise les frais généraux de latence. De plus, la famille de modèles MobileLLM affiche des améliorations notables par rapport aux précédents modèles miniatures dans les tests de référence de chat, et se rapproche de la précision de LLaMA-v2 7B dans les tâches d'appel d'API, soulignant les capacités des modèles miniatures pour les cas d'utilisation sur des appareils courants.