टेंसेंट यू-टू प्रयोगशाला और शंघाई जियाओटोंग विश्वविद्यालय की अनुसंधान टीम ने एक क्रांतिकारी ज्ञान वृद्धि विधि पेश की है, जिसने बड़े मॉडलों के अनुकूलन के लिए एक नया रास्ता खोला है। यह नवोन्मेषी तकनीक पारंपरिक मॉडल ट्यूनिंग की सीमाओं को दरकिनार करती है, ओपन-सोर्स डेटा से सीधे ज्ञान निकालती है, और मॉडल अनुकूलन प्रक्रिया को काफी सरल बनाती है, कई कार्यों में मौजूदा सर्वोत्तम तकनीकों (SOTA) को पार करने में उत्कृष्ट प्रदर्शन करती है।
हाल के वर्षों में, बड़े भाषा मॉडल (LLMs) ने विभिन्न क्षेत्रों में महत्वपूर्ण प्रगति की है, लेकिन व्यावहारिक अनुप्रयोगों में अभी भी कई चुनौतियों का सामना करना पड़ता है। पारंपरिक मॉडल ट्यूनिंग विधियों को बड़े पैमाने पर लेबल वाले डेटा और कंप्यूटिंग संसाधनों की आवश्यकता होती है, जो कई व्यावसायिक मामलों के लिए अक्सर संभव नहीं होता। हालांकि ओपन-सोर्स समुदाय ने समृद्ध ट्यूनिंग मॉडल और निर्देश डेटा सेट प्रदान किए हैं, सीमित लेबल वाले नमूनों की स्थिति में इन संसाधनों का प्रभावी ढंग से उपयोग कैसे किया जाए, यह एक चुनौती बनी हुई है।
इस समस्या के समाधान के लिए, अनुसंधान टीम ने एक नई प्रयोगात्मक रूपरेखा प्रस्तुत की है, जो K-शॉट लेबल वाले वास्तविक व्यावसायिक डेटा की स्थिति में ओपन-सोर्स ज्ञान का उपयोग करके मॉडल क्षमताओं को बढ़ाने पर ध्यान केंद्रित करती है। यह रूपरेखा सीमित नमूनों के मूल्य को पूरी तरह से उजागर करती है और बड़े भाषा मॉडल को लक्षित कार्यों के प्रदर्शन में सुधार प्रदान करती है।
इस अध्ययन के मुख्य नवाचार बिंदुओं में शामिल हैं:
प्रभावी मॉडल चयन: सिमुलेशन की उलझन, मॉडल प्रदर्शन और ज्ञान की समृद्धि का समग्र मूल्यांकन करके, सीमित डेटा की स्थिति में मौजूदा मॉडल की क्षमता को अधिकतम करना।
ज्ञान निकासी अनुकूलन: ओपन-सोर्स डेटा से प्रासंगिक ज्ञान निकालने के लिए एक विधि डिज़ाइन की गई है, जो समानता और विविधता के डेटा चयन रणनीति के संतुलन के माध्यम से मॉडल को पूरक जानकारी प्रदान करती है, साथ ही ओवरफिटिंग के जोखिम को कम करती है।
स्व-adaptive मॉडल प्रणाली: मिश्रित विशेषज्ञ मॉडल संरचना पर आधारित एक स्व-adaptive प्रणाली का निर्माण किया गया है, जो कई प्रभावी मॉडलों के बीच ज्ञान की पूरकता को सक्षम बनाता है और समग्र प्रदर्शन में सुधार करता है।
प्रयोगात्मक चरण में, अनुसंधान टीम ने छह ओपन-सोर्स डेटा सेट का व्यापक मूल्यांकन किया। परिणामों से पता चला कि यह नई विधि सभी कार्यों में बेंचमार्क और अन्य उन्नत विधियों से बेहतर प्रदर्शन करती है। विशेषज्ञ सक्रियता पैटर्न का दृश्यकरण करके, अनुसंधान ने यह भी पाया कि प्रत्येक विशेषज्ञ का मॉडल में योगदान अनिवार्य है, जो इस विधि की प्रभावशीलता को और प्रमाणित करता है।
यह अध्ययन न केवल बड़े मॉडलों के क्षेत्र में ओपन-सोर्स ज्ञान की विशाल क्षमता को प्रदर्शित करता है, बल्कि कृत्रिम बुद्धिमत्ता तकनीक के भविष्य के विकास के लिए नए दृष्टिकोण भी प्रदान करता है। यह पारंपरिक मॉडल अनुकूलन की सीमाओं को तोड़ता है और सीमित संसाधनों की स्थिति में व्यवसायों और अनुसंधान संस्थानों के लिए मॉडल प्रदर्शन को बढ़ाने के लिए व्यावहारिक समाधान प्रदान करता है।
इस तकनीक के निरंतर सुधार और प्रचार के साथ, हमें विश्वास है कि यह विभिन्न उद्योगों में बुद्धिमत्ता के उन्नयन में महत्वपूर्ण भूमिका निभाएगा। टेंसेंट यू-टू और शंघाई जियाओटोंग विश्वविद्यालय का यह सहयोग न केवल अकादमिक और औद्योगिक क्षेत्र में सहयोग का एक उदाहरण है, बल्कि कृत्रिम बुद्धिमत्ता तकनीक को उच्च स्तर पर ले जाने के लिए एक महत्वपूर्ण कदम है।
पेपर का पता: https://www.arxiv.org/pdf/2408.15915
