कृत्रिम बुद्धिमत्ता की दुनिया में, ओपन-सोर्स और क्लोज़-सोर्स के बीच की प्रतिस्पर्धा कभी खत्म नहीं हुई। आज, मेटा एआई का लामा3.1 मॉडल का विमोचन इस प्रतिस्पर्धा में एक महत्वपूर्ण मोड़ प्रतीत होता है। यह केवल एक मॉडल का विमोचन नहीं है, बल्कि ओपन-सोर्स एआई के परिपक्व होने का प्रतीक है, जो एक नए युग की शुरुआत का संकेत देता है।
लामा3.1 मेटा एआई टीम द्वारा विकसित एक नई पीढ़ी का बड़ा भाषा मॉडल है। 150 से अधिक बेंचमार्क परीक्षणों में, इसके 405B पैरामीटर संस्करण का प्रदर्शन न केवल मौजूदा अत्याधुनिक मॉडल GPT-4o और Claude3.5Sonnet के बराबर है, बल्कि कुछ पहलुओं में इसे पार भी कर गया है। यह उपलब्धि ओपन-सोर्स एआई मॉडल के लिए पहली बार प्रदर्शन में क्लोज़-सोर्स मॉडल के बराबर होने का संकेत देती है।
लामा3.1405B मॉडल को प्रशिक्षित करने के लिए, मेटा ने पूरे प्रशिक्षण स्टैक का बड़े पैमाने पर अनुकूलन किया और पहली बार मॉडल की गणना शक्ति को 16000 से अधिक H100GPU तक बढ़ाया। मानक केवल डिकोडर के ट्रांसफार्मर आर्किटेक्चर का उपयोग किया गया और इसमें मामूली बदलाव किए गए, जिससे हर चक्र में SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) और DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) के साथ प्रदर्शन में सुधार हुआ।
मेटा ने मॉडल की उपयोगकर्ता निर्देशों के प्रति प्रतिक्रिया क्षमता को बढ़ाया है, विस्तृत निर्देशों का पालन करने की क्षमता को मजबूत किया है, और सुरक्षा सुनिश्चित की है। पोस्ट-ट्रेनिंग चरण में, कई दौर के समन्वय किए गए, जहां सिंथेटिक डेटा का उपयोग करके अधिकांश SFT उदाहरण उत्पन्न किए गए, और डेटा को उच्चतम गुणवत्ता तक पहुंचाने के लिए विभिन्न डेटा प्रोसेसिंग तकनीकों का उपयोग किया गया।
तकनीकी विशेषताएँ:
संदर्भ की लंबाई का विस्तार: लामा3.1 ने संदर्भ की लंबाई को 128K तक बढ़ा दिया है, जिसका अर्थ है कि मॉडल अधिक जटिल कार्यों को संभाल सकता है और लंबे पाठ की जानकारी को समझ सकता है।
बहुभाषी समर्थन: मॉडल ने आठ भाषाओं का समर्थन जोड़ा है, जिसमें अंग्रेजी, फ्रेंच, जर्मन, हिंदी, इटालियन, पुर्तगाली, स्पेनिश और थाई शामिल हैं, जिससे मॉडल की सामान्यता में काफी वृद्धि हुई है।
उत्कृष्ट प्रदर्शन: सामान्य ज्ञान, संचालित करने की क्षमता, गणित, उपकरणों का उपयोग और बहुभाषी अनुवाद जैसे क्षेत्रों में, लामा3.1 ने उत्कृष्ट प्रदर्शन प्रदर्शित किया है।
लामा3.1 ने 15 ट्रिलियन से अधिक टोकनों पर प्रशिक्षण किया, यह उद्योग में पहली बार है।
मॉडल आर्किटेक्चर: लामा3.1 ने मानक केवल डिकोडर के ट्रांसफार्मर आर्किटेक्चर का उपयोग किया है और प्रदर्शन में सुधार के लिए मामूली समायोजन किए हैं।
मेटा के सीईओ मार्क जुकरबर्ग ने एक साक्षात्कार में कहा कि ओपन-सोर्स एआई उद्योग के लिए एक मोड़ बनेगा। उन्होंने जोर देकर कहा कि ओपन-सोर्स एआई में खुलापन, संशोधन की क्षमता और लागत दक्षता के मामले में लाभ हैं, और यह एआई तकनीक के प्रसार और विकास को प्रोत्साहित करेगा।
ओपन-सोर्स एआई डेवलपर्स को कोड को स्वतंत्र रूप से संशोधित करने की अनुमति देता है, डेटा सुरक्षा की रक्षा करता है, और उच्च दक्षता वाले और किफायती मॉडल प्रदान करता है। इसके अलावा, ओपन-सोर्स एआई का विकास तेजी से हो रहा है, और यह दीर्घकालिक मानक बनने की संभावना है।
मेटा कई कंपनियों के साथ सहयोग कर रहा है, एक व्यापक पारिस्थितिकी तंत्र का विकास करने के लिए, जो डेवलपर्स को अपने मॉडल को फाइन-ट्यून और डिस्टिल करने में समर्थन करता है। ये मॉडल सभी प्रमुख क्लाउड प्लेटफार्मों पर उपलब्ध होंगे, जिसमें AWS, Azure, Google, Oracle आदि शामिल हैं।
लामा3.1 का विमोचन संकेत देता है कि ओपन-सोर्स आर्टिफिशियल इंटेलिजेंस संभवतः उद्योग मानक बन सकता है, एआई के प्रसार और अनुप्रयोग के लिए नए रास्ते खोलता है।
आधिकारिक विस्तृत जानकारी: https://ai.meta.com/blog/meta-llama-3-1/
