स्काईवर्क-MoE-बेस
1460 अरब पैरामीटर वाला उच्च-प्रदर्शन मिश्रित विशेषज्ञ मॉडल
सामान्य उत्पादप्रोग्रामिंगमिश्रित विशेषज्ञ मॉडलबड़े पैमाने पर पैरामीटर
स्काईवर्क-MoE-बेस एक 1460 अरब पैरामीटर वाला उच्च-प्रदर्शन मिश्रित विशेषज्ञ (MoE) मॉडल है, जिसमें 16 विशेषज्ञ शामिल हैं और 220 अरब पैरामीटर सक्रिय हैं। यह मॉडल स्काईवर्क-13B मॉडल के सघन जाँच बिंदु से आरंभ किया गया है, और इसमें दो नवीन तकनीकें शामिल हैं: गेटेड लॉजिक सामान्यीकरण द्वारा विशेषज्ञ विविधता में वृद्धि, और अनुकूली सहायक हानि गुणांक, जो परत-विशिष्ट अनुकूलन के लिए सहायक हानि गुणांक की अनुमति देता है। स्काईवर्क-MoE विभिन्न लोकप्रिय बेंचमार्क परीक्षणों में अधिक पैरामीटर वाले या अधिक सक्रिय पैरामीटर वाले मॉडलों के बराबर या बेहतर प्रदर्शन दर्शाता है।
स्काईवर्क-MoE-बेस नवीनतम ट्रैफ़िक स्थिति
मासिक कुल विज़िट
29742941
बाउंस दर
44.20%
प्रति विज़िट औसत पृष्ठ
5.9
औसत विज़िट अवधि
00:04:44
