XVERSE-MoE-A36B, शेन्ज़ेन युआनज़ियांग टेक्नोलॉजी द्वारा स्वतंत्र रूप से विकसित बहुभाषीय बड़ा भाषा मॉडल है, जो मिश्रित विशेषज्ञ मॉडल (MoE) संरचना को अपनाता है, जिसमें 255.4 अरब कुल पैरामीटर स्केल और 36 अरब सक्रिय पैरामीटर हैं। यह मॉडल चीनी, अंग्रेजी, रूसी, स्पेनिश सहित 40 से अधिक भाषाओं का समर्थन करता है, विशेष रूप से चीनी और अंग्रेजी द्विभाषी में उत्कृष्ट प्रदर्शन करता है। मॉडल 8K लंबाई के प्रशिक्षण नमूनों का उपयोग करता है, और उच्च गुणवत्ता और विविधता सुनिश्चित करने के लिए परिष्कृत डेटा नमूनाकरण अनुपात और गतिशील डेटा स्विचिंग रणनीति का उपयोग करता है। इसके अलावा, मॉडल ने MoE संरचना के लिए अनुकूलित अनुकूलन किया है, जिससे गणना दक्षता और समग्र थ्रूपुट में सुधार हुआ है।