ModernBERT-base एक आधुनिक द्विदिशीय एन्कोडर ट्रांसफॉर्मर मॉडल है, जिसे 2 ट्रिलियन अंग्रेजी और कोड डेटा पर प्री-ट्रेन किया गया है, जो मूल रूप से 8192 टोकन तक के संदर्भ का समर्थन करता है। इस मॉडल ने रोटरी पोजिशनल एम्बेडिंग्स (RoPE), लोकल-ग्लोबल ऑल्टरनेटिंग अटेंशन और अनपैडिंग जैसे नवीनतम आर्किटेक्चर सुधारों को अपनाया है, जिससे यह लंबे टेक्स्ट प्रोसेसिंग कार्यों में उत्कृष्ट प्रदर्शन करता है। ModernBERT-base उन कार्यों के लिए उपयुक्त है जिनमें लंबे दस्तावेज़ों को संभालने की आवश्यकता होती है, जैसे कि पुनर्प्राप्ति, वर्गीकरण और बड़े कॉर्पस में सिमेंटिक खोज। मॉडल प्रशिक्षण डेटा मुख्य रूप से अंग्रेजी और कोड है, इसलिए अन्य भाषाओं में इसका प्रदर्शन कम हो सकता है।