深圳元象信息科技有限公司 हाल ही में घोषणा की है कि कंपनी ने चीन का सबसे बड़ा Mixture of Experts (MoE) ओपन-सोर्स बड़े मॉडल - XVERSE-MoE-A36B सफलतापूर्वक जारी किया है। इस मॉडल का विमोचन चीन के AI क्षेत्र में एक बड़ी प्रगति का प्रतीक है, जो देशी ओपन-सोर्स तकनीक को अंतरराष्ट्रीय स्तर पर अग्रणी बनाता है।
XVERSE-MoE-A36B मॉडल में 255B का कुल पैरामीटर और 36B का सक्रिय पैरामीटर है, जिसकी प्रदर्शन क्षमता 100B पैरामीटर से अधिक के बड़े मॉडल के बराबर है, जिससे प्रदर्शन में एक नई छलांग संभव हुई है। इस मॉडल के प्रशिक्षण समय में 30% की कमी आई है, और अनुमानित प्रदर्शन में 100% की वृद्धि हुई है, जिससे प्रति टोकन की लागत में बड़ी कमी आई है, जिससे AI अनुप्रयोगों की कम लागत में तैनाती संभव हो गई है।
元象XVERSE की "उच्च प्रदर्शन पारिवारिक पैकेज" श्रृंखला के मॉडल पूरी तरह से ओपन-सोर्स हैं, जो व्यावसायिक उपयोग के लिए बिना किसी शर्त के मुफ्त में उपलब्ध हैं, जिससे कई छोटे और मध्यम उद्यमों, शोधकर्ताओं और डेवलपर्स को अधिक विकल्प मिलते हैं। MoE आर्किटेक्चर कई विशिष्ट क्षेत्रों के विशेषज्ञ मॉडलों को संयोजित करके पारंपरिक विस्तार नियमों की सीमाओं को तोड़ता है, मॉडल के आकार को बढ़ाने के साथ-साथ प्रदर्शन को अधिकतम बनाए रखते हुए, प्रशिक्षण और अनुमान के गणना लागत को कम करता है।
कई प्राधिकृत परीक्षणों में, 元象 MoE का प्रदर्शन कई समान मॉडल से काफी बेहतर रहा है, जिसमें देश में 100 अरब MoE मॉडल Skywork-MoE, पारंपरिक MoE का प्रमुख Mixtral-8x22B, और 3140 अरब पैरामीटर का ओपन-सोर्स MoE मॉडल Grok-1-A86B शामिल हैं।
बड़े मॉडल को मुफ्त में डाउनलोड करें
Hugging Face: https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭: https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github: https://github.com/xverse-ai/XVERSE-MoE-A36B
संपर्क: opensource@xverse.cn
वेबसाइट: chat.xverse.cn
