腾讯 ने आज ओपन-सोर्स MOE बड़े भाषा मॉडल Hunyuan-large जारी किया, जिसमें कुल पैरामीटर 398B और सक्रिय पैरामीटर 52B हैं। सार्वजनिक परीक्षण परिणामों से पता चलता है कि Tencent Hunyuan Large CMMLU, MMLU, CEva1, MATH जैसे कई विषयों के समग्र परीक्षण सेटों और चीनी-अंग्रेजी NLP कार्यों, कोड और गणित सहित 9 प्रमुख आयामों में पूरी तरह से अग्रणी है, जो Llama3.1, Mixtral जैसे शीर्ष ओपन-सोर्स बड़े मॉडलों को पार करता है।
जानकारी के अनुसार, यह मॉडल तकनीकी नवाचार के माध्यम से उच्च गुणवत्ता वाले सिंथेटिक डेटा उत्पन्न कर सकता है, जो प्राकृतिक डेटा की कमी का प्रभावी ढंग से सामना करने के लिए सिंथेटिक डेटा का उपयोग करके प्रशिक्षण को बढ़ाता है। संदर्भ प्रसंस्करण क्षमता के संदर्भ में, पूर्व-प्रशिक्षित मॉडल 256K तक के पाठ अनुक्रम का समर्थन करता है, जो लंबे संदर्भ कार्यों को संभालने की क्षमता को महत्वपूर्ण रूप से बढ़ाता है।
साथ ही, Tencent Hunyuan ने घोषणा की है कि उद्योग में वास्तविक लंबे पाठ परीक्षण सेटों की कमी को पूरा करने के लिए, Tencent Hunyuan जल्द ही उद्योग के अनुप्रयोग अनुसंधान को सहायता देने के लिए पेंगुइन स्क्रॉल परीक्षण सेट को ओपन-सोर्स करेगा। स्व-निर्मित पेंगुइन स्क्रॉल (PenguinScrolls) विभिन्न प्राकृतिक लंबे पाठों जैसे सार्वजनिक वित्त, कानून, अकादमिक पत्रों आदि पर आधारित है, जिसकी लंबाई 1K-128K है, जो विभिन्न गहन पठन समझ और लंबे पाठ तर्क कार्यों को कवर करता है।
Tencent Hunyuan Large बड़े भाषा मॉडल का विमोचन और पेंगुइन स्क्रॉल परीक्षण सेट का ओपन-सोर्स होना उद्योग को मजबूत भाषा मॉडल और परीक्षण उपकरण प्रदान करेगा, जो प्राकृतिक भाषा प्रसंस्करण और कृत्रिम बुद्धिमत्ता के क्षेत्र के विकास को बढ़ावा देगा।
वेबसाइट का पता: https://llm.hunyuan.tencent.com