MobileLLM-350M es un modelo de lenguaje autorregresivo desarrollado por Meta, que utiliza una arquitectura Transformer optimizada y está diseñado para aplicaciones en dispositivos, satisfaciendo las necesidades de entornos con recursos limitados. Este modelo integra tecnologías clave como la función de activación SwiGLU, una arquitectura profunda y delgada, el uso compartido de incrustaciones y la atención de consultas agrupadas, logrando una mejora significativa en la precisión en tareas de razonamiento de sentido común de cero disparo. MobileLLM-350M, manteniendo un tamaño de modelo reducido, ofrece un rendimiento comparable al de modelos más grandes, siendo una opción ideal para aplicaciones de procesamiento de lenguaje natural en dispositivos.