कैलिफ़ोर्निया विश्वविद्यालय बर्कले के स्काई कंप्यूटिंग प्रयोगशाला के शोध दल NovaSky ने शुक्रवार को Sky-T1-32B-Preview इन्फेरेंस मॉडल जारी किया, जो कई प्रमुख बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन करता है और OpenAI के o1 प्रारंभिक संस्करण के समान है। सबसे उल्लेखनीय बात यह है कि इसका प्रशिक्षण लागत बेहद कम है।
Sky-T1-32B-Preview पहला वास्तविक ओपन-सोर्स इन्फेरेंस मॉडल है, NovaSky टीम ने न केवल मॉडल जारी किया है, बल्कि इसे प्रशिक्षित करने के लिए आवश्यक डेटा सेट और प्रशिक्षण कोड भी सार्वजनिक किया है, जिसका अर्थ है कि इस मॉडल को शुरुआत से दोबारा तैयार किया जा सकता है। टीम ने अपने ब्लॉग पोस्ट में कहा, "Sky-T1-32B-Preview की प्रशिक्षण लागत 450 डॉलर से कम है, जो यह दर्शाता है कि उच्च स्तरीय इन्फेरेंस क्षमताओं को आर्थिक रूप से प्रभावी ढंग से दोबारा तैयार किया जा सकता है।" हाल ही में, समान प्रदर्शन वाले मॉडल को प्रशिक्षित करने की लागत अक्सर लाखों डॉलर तक पहुँच जाती थी, लेकिन अब लागत में इस भारी कमी का मुख्य कारण सिंथेटिक प्रशिक्षण डेटा या अन्य मॉडल द्वारा उत्पन्न प्रशिक्षण डेटा का उपयोग है। उदाहरण के लिए, एआई कंपनी Writer द्वारा हाल ही में जारी किया गया मॉडल Palmyra X004 लगभग पूरी तरह से सिंथेटिक डेटा पर प्रशिक्षित किया गया है, जिसका विकास लागत केवल 700,000 डॉलर है।
चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न, चित्र अधिकार सेवा प्रदाता Midjourney
इन्फेरेंस मॉडल सामान्य एआई मॉडल से भिन्न होते हैं, जो प्रभावी ढंग से आत्म-तथ्य जांच कर सकते हैं, जिससे कुछ सामान्य जाल से बचा जा सकता है। हालाँकि, इन्फेरेंस मॉडल द्वारा समाधान प्राप्त करने में आमतौर पर अधिक समय लगता है, जो कुछ सेकंड से लेकर कुछ मिनटों तक होता है। लेकिन यह भौतिकी, विज्ञान और गणित जैसे क्षेत्रों में अधिक विश्वसनीयता प्रदान करता है, जो इसकी महत्वपूर्ण विशेषता है।
NovaSky टीम ने खुलासा किया कि उन्होंने अलीबाबा के QwQ-32B-Preview इन्फेरेंस मॉडल की सहायता से Sky-T1 के प्रारंभिक प्रशिक्षण डेटा उत्पन्न किया, इसके बाद डेटा को "संगठित" किया गया और OpenAI के GPT-4o-mini का उपयोग करके डेटा को अधिक उपयोगी प्रारूप में पुनर्निर्मित किया गया। 32 बिलियन पैरामीटर वाले Sky-T1 को 8 Nvidia H100 GPU रैक का उपयोग करके प्रशिक्षित करने में लगभग 19 घंटे लगते हैं, पैरामीटर की संख्या लगभग मॉडल की समस्या हल करने की क्षमता के अनुरूप है।
प्रदर्शन परीक्षणों में, Sky-T1 ने MATH500 (एक "प्रतियोगिता स्तर" गणित चुनौती का समूह) पर o1 के प्रारंभिक पूर्वावलोकन संस्करण की तुलना में बेहतर प्रदर्शन किया और LiveCodeBench (कोडिंग मूल्यांकन) से कुछ कठिन प्रश्नों पर o1 के पूर्वावलोकन संस्करण को हराया। हालाँकि, Sky-T1 का प्रदर्शन GPQA-Diamond पर o1 पूर्वावलोकन संस्करण से कम था, जिसमें भौतिकी, जीवविज्ञान और रसायन विज्ञान से संबंधित प्रश्न शामिल थे, जिन्हें पीएचडी स्नातकों को समझना चाहिए। इसके अलावा, OpenAI का o1GA संस्करण पूर्वावलोकन संस्करण की तुलना में अधिक शक्तिशाली है, और OpenAI अगले कुछ हफ्तों में बेहतर प्रदर्शन वाले इन्फेरेंस मॉडल o3 जारी करने की उम्मीद करता है।
फिर भी, NovaSky टीम ने कहा कि Sky-T1 केवल उनके उच्च स्तरीय इन्फेरेंस क्षमताओं वाले ओपन-सोर्स मॉडल विकसित करने की शुरुआत है। "भविष्य की ओर देखते हुए, हम अधिक कुशल मॉडल विकसित करने पर ध्यान केंद्रित करेंगे, मजबूत इन्फेरेंस प्रदर्शन बनाए रखेंगे और उन्नत तकनीकों का अन्वेषण करेंगे, जिससे परीक्षण के समय मॉडल की दक्षता और सटीकता में और सुधार हो सके," टीम ने पोस्ट में लिखा, "कृपया इन रोमांचक योजनाओं पर हमारी प्रगति पर नज़र रखें।" इस ओपन-सोर्स इन्फेरेंस मॉडल का उदय निश्चित रूप से एआई क्षेत्र में नए अवसरों और चुनौतियों को लाता है, और इसके भविष्य के विकास पर निरंतर ध्यान देने की आवश्यकता है।
