O MobileLLM-350M é um modelo de linguagem autorregressivo desenvolvido pelo Meta, utilizando uma arquitetura Transformer otimizada e projetada para aplicações em dispositivos, atendendo a ambientes com recursos limitados. O modelo integra tecnologias-chave como a função de ativação SwiGLU, arquitetura profunda e fina, compartilhamento de embeddings e atenção de consulta agrupada, resultando em uma melhoria significativa na precisão em tarefas de raciocínio de senso comum de zero-shot. O MobileLLM-350M oferece desempenho comparável a modelos maiores, mantendo um tamanho de modelo reduzido, sendo uma opção ideal para aplicações de processamento de linguagem natural em dispositivos.