Yuan2.0-M32 एक 32 विशेषज्ञों वाला मिश्रित विशेषज्ञ (MoE) भाषा मॉडल है, जिसमें से 2 सक्रिय हैं। विशेषज्ञ चयन की दक्षता में सुधार के लिए एक नए रूटिंग नेटवर्क - ध्यान राउटर को पेश किया गया है, जिससे मॉडल की सटीकता पारंपरिक रूटिंग नेटवर्क वाले मॉडल की तुलना में 3.8% तक बढ़ जाती है। Yuan2.0-M32 को 200 समान टोकन का उपयोग करके शुरू से ही प्रशिक्षित किया गया है, इसकी प्रशिक्षण गणना समान पैरामीटर स्केल के घने मॉडल की आवश्यकता वाली गणना का केवल 9.25% है। कोडिंग, गणित और विभिन्न पेशेवर क्षेत्रों में प्रतिस्पर्धी प्रदर्शन करते हुए, Yuan2.0-M32 में कुल 4 बिलियन पैरामीटर में से केवल 370 मिलियन सक्रिय पैरामीटर हैं, प्रत्येक टोकन के लिए आगे की गणना 7.4 GFLOPS है, जो Llama3-70B की आवश्यकता का केवल 1/19 है। Yuan2.0-M32 ने MATH और ARC-Challenge बेंचमार्क परीक्षणों में Llama3-70B को पार कर लिया है, जिसकी सटीकता क्रमशः 55.9% और 95.8% है।