हाल ही में, ट्यूबिंगन एलिस संस्थान, मैरीलैंड विश्वविद्यालय और लॉरेंस लिवरमोर नेशनल लेबोरेटरी के शोध दल ने हुगिन नामक एक नए भाषा मॉडल का विकास किया है। यह मॉडल पुनरावर्ती संरचना का उपयोग करता है, जिससे इसकी तर्क क्षमता में उल्लेखनीय वृद्धि हुई है। पारंपरिक मॉडल के विपरीत, हुगिन को विशेष "तर्क श्रृंखला" प्रशिक्षण की आवश्यकता नहीं होती है, यह तंत्रिका नेटवर्क के "संभावित स्थान" के भीतर स्वतंत्र रूप से तर्क कर सकता है और फिर परिणाम आउटपुट कर सकता है।
शोध दल ने हुगिन नामक एक नए भाषा मॉडल का विकास किया है। यह मॉडल पुनरावर्ती संरचना का उपयोग करता है, जिससे इसकी तर्क क्षमता में उल्लेखनीय वृद्धि हुई है। पारंपरिक मॉडल के विपरीत, हुगिन को विशेष "तर्क श्रृंखला" प्रशिक्षण की आवश्यकता नहीं होती है, यह तंत्रिका नेटवर्क के "संभावित स्थान" के भीतर स्वतंत्र रूप से तर्क कर सकता है और फिर परिणाम आउटपुट कर सकता है।
हुगिन मॉडल को फ्रंटियर सुपरकंप्यूटर पर 4096 AMD GPU का उपयोग करके बड़े पैमाने पर प्रशिक्षित किया गया था। इसकी प्रशिक्षण विधि अनोखी है, जो परिवर्तनशील गणना पुनरावृति संख्या का उपयोग करती है। सिस्टम यादृच्छिक रूप से गणना मॉड्यूल की पुनरावृत्ति की संख्या निर्धारित करता है, जिससे मॉडल विभिन्न कार्यों की जटिलता के अनुकूल बेहतर ढंग से हो सकता है।
चित्र विवरण: यह चित्र AI द्वारा बनाया गया है, और चित्र लाइसेंसिंग सेवा प्रदाता Midjourney है।
परीक्षणों से पता चला है कि हुगिन गणित और प्रोग्रामिंग कार्यों में उत्कृष्ट प्रदर्शन करता है। GSM8k और MATH बेंचमार्क में, इसने उन ओपन-सोर्स मॉडलों को पीछे छोड़ दिया जिनके पैरामीटर स्केल और प्रशिक्षण डेटा की मात्रा खुद से कई गुना अधिक थी। शोधकर्ताओं ने देखा कि हुगिन कार्य की जटिलता के अनुसार गणना की गहराई को समायोजित कर सकता है और "संभावित स्थान" के भीतर तर्क श्रृंखला विकसित कर सकता है। विश्लेषण से पता चलता है कि मॉडल "संभावित स्थान" में जटिल गणना पैटर्न बनाता है, उदाहरण के लिए, गणितीय समस्याओं को हल करते समय एक वृत्ताकार प्रक्षेपवक्र दिखाता है। यह साबित करता है कि हुगिन स्वतंत्र रूप से सीख सकता है और नए तरीके से तर्क कर सकता है।
शोधकर्ताओं का मानना है कि हालांकि हुगिन का निरपेक्ष प्रदर्शन अभी भी सुधार की गुंजाइश रखता है, लेकिन एक अवधारणा सत्यापन मॉडल के रूप में, इसने आश्चर्यजनक क्षमता दिखाई है। जैसे-जैसे तर्क समय लंबा होता जाएगा और क्षमता में वृद्धि होगी, हुगिन आर्किटेक्चर वाले बड़े मॉडल पारंपरिक तर्क मॉडल के लिए एक विकल्प बन सकते हैं। टीम ने जोर देकर कहा कि हुगिन की विधि उन तर्क प्रकारों को पकड़ सकती है जिन्हें व्यक्त करना मुश्किल है, और वे भविष्य में मॉडल के प्रदर्शन को और बेहतर बनाने के लिए सुदृढीकरण सीखने जैसी विस्तार विधियों का पता लगाने के लिए शोध जारी रखने की योजना बना रहे हैं।
