हाल ही में, एप्पल ने DCLM-Baseline-7B मॉडल को ओपन-सोर्स किया है, यह कदम निस्संदेह एआई भाषा मॉडल के विकास पर गहरा प्रभाव डालेगा।

DCLM-Baseline-7B मॉडल का ओपन-सोर्स होना केवल कोड का सार्वजनिक होना नहीं है, बल्कि यह पूर्व-प्रशिक्षण डेटा सेट, डेटा प्रसंस्करण प्रक्रिया, प्रशिक्षण प्रक्रिया से लेकर मूल्यांकन घटकों तक का पूरा लिंक शामिल करता है। इसका मतलब है कि शोधकर्ता और डेवलपर्स इस मॉडल को शुरू से अंत तक, अंदर से बाहर तक, एक व्यापक और गहन समझ प्राप्त कर सकते हैं।

I2vXg6Zh.jpg

MMLU परीक्षण में, DCLM-Baseline-7B का प्रदर्शन Mistral-7B-v0.3 और Llama38B के समान है, जो इसकी भाषा समझने की क्षमता को साबित करता है। ऐसा प्रदर्शन, एक ओपन-सोर्स मॉडल के लिए, निस्संदेह अत्यधिक आकर्षक है।

DCLM-Baseline-7B एक डिकोडर-आधारित ट्रांसफार्मर भाषा मॉडल है, जो उन्नत आर्किटेक्चर डिजाइन को अपनाता है और इसे PyTorch और OpenLM ढांचे पर अनुकूलित किया गया है। यह आर्किटेक्चर मॉडल को भाषा कार्यों को संभालने में अधिक कुशल और सटीक बनाता है।

मॉडल के प्रशिक्षण की प्रक्रिया भी ध्यान देने योग्य है। यह AdamW ऑप्टिमाइज़र का उपयोग करता है, अधिकतम लर्निंग रेट 2e-3 है, वजन क्षय 0.05 है, बैच आकार 2048 अनुक्रम है, अनुक्रम की लंबाई 2048 टोकन है, और इसे H100GPU पर प्रशिक्षित किया गया है। ये विवरण एप्पल की मॉडल प्रशिक्षण में उत्कृष्टता को दर्शाते हैं।

DCLM-Baseline-7B मॉडल का उपयोग करने के लिए पहले open_lm स्थापित करना आवश्यक है, और विशेष कोड और पैरामीटर सेटिंग्स के माध्यम से मॉडल का उत्पादन किया जा सकता है। इस प्रकार का ओपन और लचीला उपयोग का तरीका डेवलपर्स को अपनी आवश्यकताओं के अनुसार मॉडल को कस्टमाइज़ और अनुकूलित करने की अनुमति देता है।

कई कार्यों में, DCLM-Baseline-7B ने शानदार मूल्यांकन परिणाम प्रदर्शित किए हैं। उदाहरण के लिए, MMLU (शून्य-नमूना) कार्य पर स्कोर 0.5766 है, जबकि MMLU (कम-नमूना) कार्य पर स्कोर 0.6372 है। ये परिणाम न केवल मॉडल के प्रदर्शन को प्रदर्शित करते हैं, बल्कि भविष्य के अनुसंधान के लिए मूल्यवान संदर्भ भी प्रदान करते हैं।

DCLM-Baseline-7B का ओपन-सोर्स होना एप्पल का एआई क्षेत्र में एक और महत्वपूर्ण योगदान है। यह न केवल एप्पल की एआई तकनीक में क्षमता को प्रदर्शित करता है, बल्कि विश्व स्तर पर एआई शोधकर्ताओं और डेवलपर्स के लिए एक कीमती संसाधन भी प्रदान करता है। इस मॉडल के ओपन-सोर्स होने के साथ, हम भविष्य में इस आधार पर अधिक नवोन्मेषी अनुप्रयोगों और अनुसंधानों की संभावना देख सकते हैं।

मॉडल का पता: https://huggingface.co/apple/DCLM-7B