MAP-NEO est un grand modèle linguistique entièrement open source, comprenant les données pré-entraînées, le pipeline de traitement des données (Matrix), les scripts de pré-entraînement et le code d'alignement. Entraîné à partir de zéro, il a utilisé 4,5 T de jetons anglais et chinois, affichant des performances comparables à celles de LLaMA2 7B. MAP-NEO excelle dans des tâches complexes telles que le raisonnement, les mathématiques et le codage, surpassant les modèles de taille équivalente. Dans un souci de transparence pour la recherche, nous publions intégralement MAP-NEO, incluant les points de contrôle finaux et intermédiaires, le tokenizer auto-entraîné, le corpus de pré-entraînement et une bibliothèque de code d'optimisation pré-entraînement efficace et stable.