मिस्ट्रल-नेमो-बेस-2407 मिस्ट्रल एआई और एनवीडिया द्वारा संयुक्त रूप से प्रशिक्षित 12B पैरामीटर वाला एक बड़ा पूर्व-प्रशिक्षित पाठ निर्माण मॉडल है। यह मॉडल बहुभाषी और कोड डेटा पर प्रशिक्षित किया गया है, जो समान या छोटे पैमाने के मौजूदा मॉडलों से काफी बेहतर है। इसकी प्रमुख विशेषताओं में शामिल हैं: अपाचे 2.0 लाइसेंस के तहत जारी, पूर्व-प्रशिक्षण और निर्देश संस्करणों का समर्थन, 128k संदर्भ विंडो प्रशिक्षण, कई भाषाओं और कोड डेटा का समर्थन, मिस्ट्रल 7B का विकल्प। मॉडल आर्किटेक्चर में 40 परतें, 5120 आयाम, 128 हेड आयाम, 14364 छिपे हुए आयाम, 32 हेड संख्या, 8 kv हेड (GQA), लगभग 128k शब्दावली, घूर्णन एम्बेडिंग (थीटा = 1M) शामिल हैं। यह मॉडल कई बेंचमार्क परीक्षणों में बेहतरीन प्रदर्शन करता है, जैसे कि हेलास्वैग, विनोग्रांड, ओपनबुकक्यूए आदि।