MAP-NEO ist ein vollständig quelloffenes großes Sprachmodell, das vortrainierte Daten, eine Datenverarbeitungs-Pipeline (Matrix), Vortrainings-Skripte und Alignment-Code umfasst. Das Modell wurde von Grund auf neu trainiert und verwendet 4,5 Billionen englische und chinesische Token. Es zeigt eine vergleichbare Leistung zu LLaMA2 7B. MAP-NEO zeichnet sich in herausfordernden Aufgaben wie Inferenz, Mathematik und Codierung aus und übertrifft Modelle vergleichbarer Größe. Im Interesse der Forschung setzen wir uns für vollständige Transparenz im LLM-Trainingsprozess ein und veröffentlichen daher MAP-NEO umfassend, einschließlich finaler und intermediärer Checkpoints, eines selbsttrainierten Tokenizers, des vortrainierten Korpus und einer effizienten und stabilen optimierten Vortrainings-Codebasis.