Llama3.1 लीक हो गया है! आपने सही सुना, इस ओपन-सोर्स मॉडल में 4050 अरब पैरामीटर हैं, और यह Reddit पर काफी चर्चा का विषय बन गया है। यह अब तक का सबसे करीब का ओपन-सोर्स मॉडल हो सकता है जो GPT-4o के समान है, और कुछ मामलों में इसे पार भी कर गया है।
Llama3.1 को Meta (पूर्व में Facebook) द्वारा विकसित किया गया है। हालांकि आधिकारिक रूप से इसे जारी नहीं किया गया है, लेकिन लीक हुआ संस्करण पहले से ही समुदाय में हलचल मचा चुका है। इस मॉडल में न केवल मूल मॉडल शामिल है, बल्कि 8B, 70B और अधिकतम पैरामीटर 405B के बेंचमार्क परिणाम भी शामिल हैं।
प्रदर्शन की तुलना: Llama3.1 बनाम GPT-4o
लीक हुए तुलना परिणामों से पता चलता है कि Llama3.1 का 70B संस्करण भी कई बेंचमार्क परीक्षणों में GPT-4o को पार कर गया है। यह ओपन-सोर्स मॉडल का पहला अवसर है जब कई बेंचमार्क पर SOTA (State of the Art, यानी अत्याधुनिक तकनीक) स्तर तक पहुंचा है, जो दिखाता है: ओपन-सोर्स की शक्ति वास्तव में अद्भुत है!
मॉडल की विशेषताएँ: बहुभाषी समर्थन, अधिक समृद्ध प्रशिक्षण डेटा
Llama3.1 मॉडल ने सार्वजनिक स्रोतों से 15T+ टोकन का उपयोग करके प्रशिक्षण प्राप्त किया है, और पूर्व-प्रशिक्षण डेटा की कट-off तारीख 2023 दिसंबर है। यह न केवल अंग्रेजी, बल्कि फ्रेंच, जर्मन, हिंदी, इटालियन, पुर्तगाली, स्पेनिश और थाई जैसी कई भाषाओं का समर्थन करता है। इससे यह बहुभाषी संवाद उपयोग के मामलों में उत्कृष्ट प्रदर्शन करता है।
Llama3.1 अनुसंधान टीम मॉडल की सुरक्षा पर बहुत ध्यान देती है। उन्होंने संभावित सुरक्षा जोखिमों को कम करने के लिए कई प्रकार के डेटा संग्रह विधियों का उपयोग किया है, जिसमें मानव-निर्मित डेटा और संश्लेषित डेटा का संयोजन शामिल है। इसके अतिरिक्त, मॉडल ने डेटा गुणवत्ता नियंत्रण को बढ़ाने के लिए सीमांत प्रॉम्प्ट और प्रतिकूल प्रॉम्प्ट को भी शामिल किया है।
मॉडल कार्ड स्रोत: https://pastebin.com/9jGkYbXY#google_vignette
