हाल ही में, कैलिफ़ोर्निया विश्वविद्यालय बर्कले के स्काई कंप्यूटिंग लैब टीम ने स्काई-टी1-32बी-पूर्वावलोकन जारी किया है, जो एक ओपन-सोर्स इनफेरेंशियल आर्टिफिशियल इंटेलिजेंस मॉडल है, जो इनफेरेंशियल एआई के विकास को और अधिक आसान और सस्ता बनाता है। इस मॉडल ने कई महत्वपूर्ण बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन किया है, यहां तक कि यह ओपनएआई के प्रारंभिक संस्करण o1 के साथ प्रतिस्पर्धा करता है।
स्काई-टी1 के प्रशिक्षण की लागत ध्यान देने योग्य है, केवल 450 डॉलर, जिसका अर्थ है कि उच्च स्तर की इनफेरेंशियल क्षमता की नकल करना अधिक किफायती और प्रभावी हो गया है। हालांकि 450 डॉलर की लागत सुनने में कम नहीं लगती, लेकिन यह कुछ साल पहले लाखों डॉलर की प्रशिक्षण लागत की तुलना में एक बड़ी कमी है। सिंथेटिक प्रशिक्षण डेटा के उपयोग से, जो अन्य मॉडलों द्वारा उत्पन्न किया गया है, लागत में महत्वपूर्ण कमी आई है। एआई कंपनी राइटर द्वारा हाल ही में जारी किए गए पाल्मेरा X004 ने लगभग पूरी तरह से सिंथेटिक डेटा पर निर्भर किया है, और विकास लागत भी केवल 700,000 डॉलर थी।
चित्र स्रोत नोट: चित्र एआई द्वारा उत्पन्न, चित्र अधिकार सेवा प्रदाता मिडजर्नी
अधिकांश एआई के विपरीत, इनफेरेंशियल मॉडल प्रभावी ढंग से आत्म-सत्यापन कर सकते हैं, जिससे वे कुछ सामान्य समस्याओं को हल करते समय अधिक विश्वसनीय होते हैं। इनफेरेंशियल मॉडल समाधान प्राप्त करने में अधिक समय ले सकते हैं, कुछ सेकंड से लेकर कुछ मिनटों तक, लेकिन भौतिकी, विज्ञान और गणित जैसे क्षेत्रों में उनकी विश्वसनीयता का लाभ स्पष्ट है।
नोवा स्काई टीम ने एक अन्य इनफेरेंशियल मॉडल - अलीबाबा के QwQ-32B-पूर्वावलोकन का उपयोग करके स्काई-टी1 के प्रारंभिक प्रशिक्षण डेटा का निर्माण किया, और डेटा को "क्यूरेट" किया, इसके बाद ओपनएआई के GPT-4o-mini का उपयोग करके डेटा को अधिक क्रियाशील प्रारूप में पुनर्गठित किया। 32 अरब पैरामीटर के स्काई-टी1 को केवल लगभग 19 घंटे में प्रशिक्षित किया गया, जिसमें 8 Nvidia H100GPU की एक सेट का उपयोग किया गया। पैरामीटर की संख्या मॉडल की समस्या हल करने की क्षमता से लगभग संबंधित है।
नोवा स्काई टीम के अनुसार, स्काई-टी1 ने MATH500 पर "प्रतियोगिता स्तर" गणित चुनौतियों के संग्रह में o1 के प्रारंभिक पूर्वावलोकन संस्करण को पार कर लिया है। इसके अलावा, स्काई-टी1 ने LiveCodeBench में जिन चुनौतियों का सामना किया, उनमें भी o1 के पूर्वावलोकन संस्करण को पीछे छोड़ दिया है। हालाँकि, भौतिकी, जीवविज्ञान और रसायन विज्ञान जैसे क्षेत्रों में समस्याओं के मामले में, स्काई-टी1 की GPQA-डायमंड परीक्षण में प्रदर्शन o1 पूर्वावलोकन संस्करण से कमज़ोर है।
यह उल्लेख करना आवश्यक है कि ओपनएआई का GA संस्करण o1 पूर्वावलोकन संस्करण से अधिक शक्तिशाली है, और ओपनएआई अगले कुछ हफ्तों में एक बेहतर इनफेरेंशियल मॉडल o3 जारी करने की उम्मीद करता है। हालांकि, नोवा स्काई टीम ने कहा कि स्काई-टी1 केवल उनके उन्नत इनफेरेंशियल क्षमताओं वाले ओपन-सोर्स मॉडल के विकास की यात्रा की शुरुआत है।
“भविष्य की ओर देखते हुए, हम मजबूत इनफेरेंशियल प्रदर्शन को बनाए रखने के लिए अधिक कुशल मॉडलों के विकास पर ध्यान केंद्रित करेंगे, और मॉडल की दक्षता और सटीकता को बढ़ाने के लिए उन्नत तकनीकों का पता लगाएंगे,” टीम ने अपने ब्लॉग में लिखा। “कृपया इन रोमांचक परियोजनाओं पर हमारी प्रगति पर नज़र रखें।”
