Skywork-MoE
146 करोड़ पैरामीटर वाला उच्च-प्रदर्शन MoE मॉडल
प्रीमियम नया उत्पादप्रोग्रामिंगMoE मॉडलबड़े पैमाने पर भाषा मॉडल
Skywork-MoE एक उच्च-प्रदर्शन वाला मिश्रित विशेषज्ञ (MoE) मॉडल है जिसमें 146 करोड़ पैरामीटर, 16 विशेषज्ञ और 22 करोड़ सक्रिय पैरामीटर शामिल हैं। यह मॉडल Skywork-13B मॉडल के सघन जाँच बिंदु से आरंभ किया गया है और इसमें दो नवीन तकनीकें शामिल हैं: गेटेड लॉजिक सामान्यीकरण द्वारा विशेषज्ञ विविधता में वृद्धि, और अनुकूली सहायक हानि गुणांक जिससे परत-विशिष्ट सहायक हानि गुणांक समायोजन की अनुमति मिलती है। Skywork-MoE का प्रदर्शन उन मॉडलों जैसे Grok-1, DBRX, Mistral 8*22 और Deepseek-V2 के बराबर या उससे बेहतर है जिनमें अधिक पैरामीटर या अधिक सक्रिय पैरामीटर हैं।
Skywork-MoE नवीनतम ट्रैफ़िक स्थिति
मासिक कुल विज़िट
474564576
बाउंस दर
36.20%
प्रति विज़िट औसत पृष्ठ
6.1
औसत विज़िट अवधि
00:06:34
