XVERSE-MoE-A36B ist ein von Shenzhen Yuanxiang Technology selbst entwickeltes mehrsprachiges großes Sprachmodell. Es verwendet eine Mixture-of-Experts-Architektur (MoE) mit einer Gesamtparametergröße von 255,4 Milliarden und 36 Milliarden aktivierten Parametern. Das Modell unterstützt über 40 Sprachen, darunter Chinesisch, Englisch, Russisch und Spanisch, und zeichnet sich insbesondere durch seine hervorragende Leistung in Chinesisch und Englisch aus. Es wurde mit Trainingsbeispielen der Länge 8K trainiert und durch eine fein abgestimmte Datenabtastungsrate und eine dynamische Datenwechselstrategie wird eine hohe Qualität und Diversität des Modells sichergestellt. Darüber hinaus wurde das Modell speziell für die MoE-Architektur optimiert, um die Rechenleistung und den Gesamtdurchsatz zu verbessern.