माइक्रोसॉफ्ट ने हाल ही में अपनी नई rStar-Math तकनीक की घोषणा की है, जो एक नवोन्मेषी तर्क पद्धति है जिसे छोटे भाषा मॉडल (SLMs) पर लागू किया जा सकता है, जिससे उनकी गणितीय समस्याओं पर प्रदर्शन में महत्वपूर्ण सुधार होता है, और कुछ मामलों में यह OpenAI के o1-preview मॉडल को भी पार कर जाता है। यह तकनीक वर्तमान में अनुसंधान चरण में है, और संबंधित शोध पत्र arXiv.org पर प्रकाशित किया गया है, जिसे माइक्रोसॉफ्ट, पेकिंग विश्वविद्यालय और तिंगहुआ विश्वविद्यालय के आठ लेखकों ने मिलकर पूरा किया है।
परीक्षण में, rStar-Math तकनीक को कई छोटे ओपन-सोर्स मॉडलों पर लागू किया गया, जिसमें माइक्रोसॉफ्ट का Phi-3 मिनी मॉडल, अलीबाबा का Qwen-1.5B (1.5 बिलियन पैरामीटर मॉडल) और Qwen-7B (7 बिलियन पैरामीटर मॉडल) शामिल हैं। परीक्षण परिणामों ने दिखाया कि सभी भाग लेने वाले मॉडलों के प्रदर्शन में सुधार हुआ, जिसमें MATH बेंचमार्क परीक्षण में, rStar-Math ने OpenAI के पिछले सबसे उन्नत मॉडल को भी पार कर लिया।
शोध टीम GitHub पर संबंधित कोड और डेटा को सार्वजनिक करने की योजना बना रही है, हालांकि यह अभी भी आंतरिक समीक्षा में है और सार्वजनिक नहीं किया गया है। समुदाय ने इस तकनीक के प्रति अत्यधिक रुचि दिखाई है, और कई सदस्यों ने इसके मोंटे कार्लो ट्री सर्च (MCTS) के साथ संयोजन के क्रमिक तर्क पद्धति की प्रशंसा की है, और इसे ज्यामितीय प्रमाण और प्रतीकात्मक तर्क जैसे क्षेत्रों में व्यापक अनुप्रयोग संभावनाएं प्रदान करने वाला मानते हैं।
rStar-Math का मूल तत्व मोंटे कार्लो ट्री सर्च का उपयोग करना है, जो मानव की "गहरी सोच" का अनुकरण करता है, और छोटे मॉडल को आत्म-विकास में मदद करने के लिए गणितीय समस्याओं के समाधान को क्रमिक रूप से परिष्कृत करता है। शोधकर्ताओं ने केवल MCTS को लागू नहीं किया, बल्कि मॉडल से अनुरोध किया कि वह आउटपुट प्रक्रिया में प्राकृतिक भाषा में तर्क के चरणों और Python कोड को एक साथ प्रदान करे। इस प्रकार की आवश्यकता ने मॉडल के प्रभावी प्रशिक्षण को बढ़ावा दिया।
चार दौर की आत्म-विकास के बाद, rStar-Math ने कई बेंचमार्क परीक्षणों में महत्वपूर्ण उपलब्धियां हासिल की हैं। MATH बेंचमार्क परीक्षण में, Qwen2.5-Math-7B मॉडल की सटीकता 58.8% से बढ़कर 90.0% हो गई, जो OpenAI के o1-preview को पार कर गई। वहीं, अमेरिका गणित आमंत्रण प्रतियोगिता (AIME) में, इस मॉडल ने 53.3% समस्याओं को हल किया, जो हाई स्कूल प्रतियोगियों के शीर्ष 20% में प्रदर्शन करता है।
हाल के वर्षों में, आर्टिफिशियल इंटेलिजेंस नवाचार मुख्य रूप से मॉडल पैरामीटर की निरंतर वृद्धि पर निर्भर करता है, हालांकि, इसके साथ आने वाली उच्च लागत ने इस विस्तार की स्थिरता पर सवाल उठाना शुरू कर दिया है। माइक्रोसॉफ्ट ने rStar-Math के माध्यम से छोटे मॉडलों की क्षमता को प्रदर्शित किया है, और उच्च प्रदर्शन के दिशा-निर्देशों पर जोर दिया है। इस तकनीक का प्रकाशन दर्शाता है कि विशेष छोटे मॉडल बड़े सिस्टम का एक प्रभावी विकल्प हो सकते हैं, जो मध्यम संगठनों और शैक्षणिक शोधकर्ताओं को बिना विशाल वित्तीय और पर्यावरणीय बोझ के अग्रणी क्षमताएं प्रदान करते हैं।
शोध पत्र का लिंक: https://arxiv.org/pdf/2501.04519
मुख्य बिंदु:
🌟 माइक्रोसॉफ्ट ने rStar-Math तकनीक पेश की, जो छोटे मॉडलों के गणितीय समस्याओं पर प्रदर्शन को बढ़ाती है।
📊 यह तकनीक कई ओपन-सोर्स मॉडलों पर परीक्षण की गई है, और कुछ मॉडलों का प्रदर्शन OpenAI के o1-preview को पार कर गया है।
🔍 शोध योजना GitHub पर कोड जारी करने की है, जिससे समुदाय का ध्यान आकर्षित होगा और छोटे मॉडलों की विशाल क्षमता को प्रदर्शित किया जाएगा।
