गैर-लाभकारी AI अनुसंधान संस्थान Ai2 ने हाल ही में अपने नए OLMo2 श्रृंखला का अनावरण किया है, जो इस संस्थान द्वारा लॉन्च किए गए "ओपन लैंग्वेज मॉडल" (OLMo) श्रृंखला का दूसरा पीढ़ी मॉडल है। OLMo2 का लॉन्च न केवल AI समुदाय को मजबूत तकनीकी समर्थन प्रदान करता है, बल्कि इसके पूरी तरह से ओपन-सोर्स विशेषता के साथ, ओपन-सोर्स AI के नवीनतम विकास का प्रतिनिधित्व करता है।
वर्तमान में बाजार में अन्य "ओपन" लैंग्वेज मॉडलों जैसे Meta के Llama श्रृंखला से भिन्न, OLMo2 ओपन-सोर्स पहल की सख्त परिभाषा के अनुरूप है, जिसका अर्थ है कि इसके विकास के लिए उपयोग किए गए प्रशिक्षण डेटा, उपकरण और कोड सभी सार्वजनिक हैं, और कोई भी इनका उपयोग और एक्सेस कर सकता है। ओपन-सोर्स प्रमोशन एसोसिएशन की परिभाषा के अनुसार, OLMo2 उस संस्थान की "ओपन-सोर्स AI" मानकों की आवश्यकताओं को पूरा करता है, जो इस वर्ष अक्टूबर में अंतिम रूप से तय किया गया था।
Ai2 ने अपने ब्लॉग में उल्लेख किया है कि OLMo2 के विकास के दौरान, सभी प्रशिक्षण डेटा, कोड, प्रशिक्षण योजनाएँ, मूल्यांकन विधियाँ और मध्यवर्ती चेकपॉइंट पूरी तरह से खुले हैं, जिसका उद्देश्य संसाधनों को साझा करके ओपन-सोर्स समुदाय में नवाचार और खोज को बढ़ावा देना है। "हमारे डेटा, योजनाओं और खोजों को सार्वजनिक रूप से साझा करके, हम ओपन-सोर्स समुदाय को नए तरीकों और नवाचार तकनीकों की खोज के लिए संसाधन प्रदान करने की उम्मीद करते हैं।" Ai2 ने कहा।
OLMo2 श्रृंखला में दो संस्करण शामिल हैं: एक 70 अरब पैरामीटर वाला OLMo7B, और दूसरा 130 अरब पैरामीटर वाला OLMo13B। पैरामीटर की संख्या सीधे मॉडल के प्रदर्शन को प्रभावित करती है, अधिक पैरामीटर वाले संस्करण आमतौर पर अधिक जटिल कार्यों को संभाल सकते हैं। सामान्य पाठ कार्यों में, OLMo2 उत्कृष्ट प्रदर्शन करता है, जैसे प्रश्नों का उत्तर देना, दस्तावेज़ों का संक्षेपण करना और कोड लिखना।
चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न, चित्र अधिकार सेवा प्रदाता Midjourney
OLMo2 को प्रशिक्षित करने के लिए, Ai2 ने 50 ट्रिलियन टोकन वाले डेटा सेट का उपयोग किया। टोकन भाषा मॉडल में सबसे छोटा इकाई है, 10 लाख टोकन लगभग 7.5 लाख शब्दों के बराबर होते हैं। प्रशिक्षण डेटा में उच्च गुणवत्ता वाली वेबसाइटों, शैक्षणिक पत्रों, प्रश्न-उत्तर चर्चा बोर्डों और संश्लेषित गणित कार्यपुस्तिकाओं से सामग्री शामिल है, जिन्हें मॉडल की प्रभावशीलता और सटीकता सुनिश्चित करने के लिए सावधानीपूर्वक छाना गया है।
Ai2 OLMo2 के प्रदर्शन पर पूरी तरह से विश्वास व्यक्त करता है, यह दावा करते हुए कि इसकी प्रदर्शन Meta के Llama3.1 जैसे ओपन-सोर्स मॉडलों के साथ प्रतिस्पर्धा करता है। Ai2 ने बताया कि OLMo27B का प्रदर्शन Llama3.18B से भी बेहतर है, जो वर्तमान में सबसे मजबूत पूरी तरह से ओपन लैंग्वेज मॉडल में से एक बन गया है। सभी OLMo2 मॉडल और उनके घटक Ai2 की आधिकारिक वेबसाइट से मुफ्त में डाउनलोड किए जा सकते हैं और Apache2.0 लाइसेंस का पालन करते हैं, जिसका अर्थ है कि इन मॉडलों का उपयोग न केवल अनुसंधान के लिए, बल्कि व्यावसायिक अनुप्रयोगों के लिए भी किया जा सकता है।
