MobileLLM-350M est un modèle linguistique autorégressif développé par Meta, basé sur une architecture Transformer optimisée et conçu pour les applications embarquées afin de répondre aux contraintes de ressources. Ce modèle intègre des techniques clés telles que la fonction d'activation SwiGLU, une architecture profonde et fine, le partage d'embeddings et l'attention groupée par requête, permettant une amélioration significative de la précision sur les tâches de raisonnement de bon sens à zéro coup. MobileLLM-350M, tout en conservant une taille de modèle réduite, offre des performances comparables à celles de modèles plus importants, ce qui en fait un choix idéal pour les applications de traitement du langage naturel embarquées.