हाल ही में, स्टैनफोर्ड विश्वविद्यालय और वाशिंगटन विश्वविद्यालय के AI शोधकर्ताओं ने एक AI निष्कर्षण मॉडल, जिसे s1 कहा जाता है, को सफलतापूर्वक प्रशिक्षित किया है, जिसका प्रशिक्षण लागत 50 डॉलर से कम है, और आवश्यक क्लाउड कंप्यूटिंग क्रेडिट भी बहुत कम है। यह शोध परिणाम पिछले शुक्रवार को जारी किया गया, जो दर्शाता है कि s1 गणित और प्रोग्रामिंग क्षमता परीक्षणों में OpenAI के o1 मॉडल और DeepSeek के R1 मॉडल के समान प्रदर्शन करता है। s1 का कोड और डेटा GitHub पर सार्वजनिक रूप से उपलब्ध है, ताकि अन्य शोधकर्ता इसका उपयोग कर सकें।
शोध टीम ने बताया कि उन्होंने एक मौजूदा आधार मॉडल से शुरू करके, आवश्यक निष्कर्षण क्षमताओं को निकालने के लिए डिस्टिलेशन तकनीक का उपयोग किया। s1 का डिस्टिलेशन प्रक्रिया गूगल के Gemini2.0Flash Thinking Experimental मॉडल का उपयोग करके की गई, यह विधि कैलिफोर्निया विश्वविद्यालय बर्कले के शोधकर्ताओं द्वारा पिछले महीने एक अन्य AI निष्कर्षण मॉडल के प्रशिक्षण के दौरान अपनाई गई विधि के समान है, जिसका प्रशिक्षण लागत लगभग 450 डॉलर था।
यह परिणाम कई लोगों के लिए उत्साहजनक है, खासकर आज के AI क्षेत्र में, शोधकर्ता बिना बड़े वित्तीय समर्थन के भी नवाचार कर सकते हैं। हालांकि, s1 की उपस्थिति ने AI मॉडल के व्यावसायीकरण पर गहन विचार को भी प्रेरित किया। यदि कोई भी व्यक्ति अपेक्षाकृत कम लागत में करोड़ों डॉलर के मॉडल को दोहरा सकता है, तो इन बड़ी कंपनियों की सुरक्षा दीवार कहाँ है?
स्पष्ट है कि बड़े AI प्रयोगशालाएँ इससे संतुष्ट नहीं हैं, OpenAI ने DeepSeek पर अपने API डेटा का अनुचित उपयोग करने का आरोप लगाया है। s1 की शोध टीम एक सरल तरीके से शक्तिशाली निष्कर्षण प्रदर्शन हासिल करने की आशा करती है, जबकि "परीक्षण समय विस्तार" क्षमता को भी बढ़ाती है, अर्थात AI मॉडल को प्रश्नों का उत्तर देने से पहले अधिक सोचने का समय देना। ये सभी OpenAI के o1 मॉडल द्वारा हासिल की गई उपलब्धियाँ हैं, DeepSeek और अन्य AI प्रयोगशालाएँ भी विभिन्न तरीकों से इसे दोहराने का प्रयास कर रही हैं।
s1 का शोध दर्शाता है कि एक अपेक्षाकृत छोटे डेटा सेट का उपयोग करके, सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) विधि का उपयोग करके निष्कर्षण मॉडल को प्रभावी ढंग से डिस्टिल किया जा सकता है, जबकि यह विधि आमतौर पर DeepSeek द्वारा अपनाई गई बड़े पैमाने पर सुदृढीकरण शिक्षण विधि की तुलना में सस्ती है। गूगल ने Gemini2.0Flash Thinking Experimental के लिए मुफ्त पहुंच भी प्रदान की है, लेकिन इस प्लेटफ़ॉर्म पर दैनिक उपयोग की सीमाएँ हैं, और इसके नियमों में प्रतिस्पर्धी सेवाओं के विकास के लिए इसके मॉडल का प्रतिकृति बनाने पर रोक है।
s1 के प्रशिक्षण के लिए, शोधकर्ताओं ने 1000 चयनित प्रश्नों और उनके संबंधित उत्तरों का एक डेटा सेट बनाया, जिसमें प्रश्नों के पीछे के "सोचने" की प्रक्रिया भी शामिल है। प्रशिक्षण प्रक्रिया में 16 Nvidia H100GPU का उपयोग किया गया, जो 30 मिनट से कम समय में पूरा हुआ। शोधकर्ताओं के अनुसार, अब उन्हें आवश्यक कंप्यूटिंग संसाधनों को किराए पर लेने के लिए केवल 20 डॉलर की आवश्यकता होती है। इसके अतिरिक्त, शोध टीम ने एक चतुर तकनीक का उपयोग किया, जिससे s1 निष्कर्षण के दौरान "रुकें" शब्द जोड़ता है, जिससे उत्तर की सटीकता में सुधार होता है।
भविष्य में 2025 में, मेटा, गूगल और माइक्रोसॉफ्ट AI अवसंरचना पर हजारों अरब डॉलर का निवेश करने की योजना बना रहे हैं, जिसमें से कुछ धन अगली पीढ़ी के AI मॉडल के प्रशिक्षण के लिए उपयोग किया जाएगा। हालांकि डिस्टिलेशन तकनीक ने कम लागत में AI मॉडल को पुन: प्रस्तुत करने की क्षमता में अच्छा प्रदर्शन दिखाया है, लेकिन इसने नए AI मॉडल के प्रदर्शन को महत्वपूर्ण रूप से नहीं बढ़ाया है।
पेपर: https://arxiv.org/pdf/2501.19393
कोड: https://github.com/simplescaling/s1
मुख्य बिंदु:
🌟 s1 मॉडल का प्रशिक्षण लागत 50 डॉलर से कम है, जो शीर्ष निष्कर्षण मॉडलों के समान प्रदर्शन करता है।
🛠️ शोध टीम ने डिस्टिलेशन तकनीक के माध्यम से मौजूदा मॉडल से निष्कर्षण क्षमताएँ निकालीं, प्रशिक्षण प्रक्रिया त्वरित और प्रभावी है।
🚀 बड़े AI प्रयोगशालाएँ कम लागत में मॉडल की नकल करने की स्थिति को लेकर चिंतित हैं, भविष्य में निवेश AI अवसंरचना पर केंद्रित होगा।
