Skywork-MoE-Base-FP8
146 करोड़ पैरामीटर वाला उच्च-प्रदर्शन MoE मॉडल
सामान्य उत्पादप्रोग्रामिंगMoEबड़ा मॉडल
Skywork-MoE एक उच्च-प्रदर्शन मिश्रित विशेषज्ञ (MoE) मॉडल है जिसमें 146 करोड़ पैरामीटर, 16 विशेषज्ञ और 22 करोड़ सक्रिय पैरामीटर हैं। यह मॉडल Skywork-13B मॉडल के सघन जाँच बिंदु से आरंभ किया गया है। इसमें दो नवीन तकनीकें शामिल हैं: गेटेड लॉजिक सामान्यीकरण, जो विशेषज्ञ विविधता को बढ़ाता है; और अनुकूली सहायक हानि गुणांक, जो परत-विशिष्ट सहायक हानि गुणांक समायोजन की अनुमति देता है। Skywork-MoE ने C-Eval, MMLU, CMMLU, GSM8K, MATH और HumanEval जैसे विभिन्न लोकप्रिय बेंचमार्क में समान या बेहतर प्रदर्शन दिखाया है, जो अधिक पैरामीटर या अधिक सक्रिय पैरामीटर वाले मॉडलों के बराबर है।
Skywork-MoE-Base-FP8 नवीनतम ट्रैफ़िक स्थिति
मासिक कुल विज़िट
29742941
बाउंस दर
44.20%
प्रति विज़िट औसत पृष्ठ
5.9
औसत विज़िट अवधि
00:04:44
