बाइटडांस डौबाओ बड़े मॉडल टीम ने आज घोषणा की कि उन्होंने एक नई स्पार्स मॉडल आर्किटेक्चर UltraMem का सफलतापूर्वक विकास किया है। यह आर्किटेक्चर MoE (मिक्स्ड एक्सपर्ट) मॉडल के इनफेरेंस के दौरान उच्च मेमोरी की समस्या को प्रभावी ढंग से हल करता है, जिससे इनफेरेंस की गति MoE की तुलना में 2-6 गुना बढ़ जाती है, और इनफेरेंस की लागत 83% तक कम हो जाती है। यह क्रांतिकारी प्रगति बड़े मॉडल के कुशल इनफेरेंस के लिए एक नया रास्ता खोलती है।
UltraMem आर्किटेक्चर ने मॉडल के प्रभाव को सुनिश्चित करते हुए, MoE आर्किटेक्चर के इनफेरेंस के दौरान मेमोरी की बाधाओं को सफलतापूर्वक हल किया है। प्रयोगात्मक परिणाम बताते हैं कि समान पैरामीटर और सक्रियण शर्तों के तहत, UltraMem न केवल MoE से बेहतर मॉडल प्रभाव प्रदान करता है, बल्कि इनफेरेंस की गति को 2-6 गुना बढ़ाता है। इसके अलावा, सामान्य बैच आकार के तहत, UltraMem की मेमोरी लागत लगभग समान गणना मात्रा के घनी मॉडल के बराबर है, जिससे इनफेरेंस की लागत में महत्वपूर्ण कमी आई है।
शोध टीम ने 2000 लाख वैल्यू के UltraMem मॉडल का प्रशिक्षण दिया, और प्रयोगात्मक परिणाम बताते हैं कि समान गणना संसाधनों के तहत, यह मॉडल उद्योग में अग्रणी इनफेरेंस गति और मॉडल प्रदर्शन को प्राप्त करता है। यह परिणाम UltraMem आर्किटेक्चर की उत्कृष्ट स्केलिंग विशेषताओं की पुष्टि करता है, जो अरबों वैल्यू या विशेषज्ञ मॉडल के निर्माण के लिए तकनीकी आधार प्रदान करता है।
जैसे-जैसे बड़े मॉडल का आकार बढ़ता जा रहा है, इनफेरेंस की लागत और गति इसके अनुप्रयोग के लिए प्रमुख बाधाएँ बन गई हैं। हालांकि MoE आर्किटेक्चर ने गणना और पैरामीटर को अलग करने में सफलता प्राप्त की है, लेकिन इसके इनफेरेंस के दौरान उच्च मेमोरी की आवश्यकता में देरी बढ़ जाती है। UltraMem आर्किटेक्चर का प्रस्ताव इस समस्या को प्रभावी ढंग से हल करता है, जिससे बड़े मॉडल के स्केलिंग अनुप्रयोग के लिए एक नई तकनीकी विकल्प प्रदान किया जाता है।
