ModernBERT-लार्ज एक आधुनिक द्विदिशीय एन्कोडर ट्रांसफार्मर मॉडल (BERT शैली) है, जिसे 2 ट्रिलियन अंग्रेजी और कोड डेटा पर पूर्व-प्रशिक्षित किया गया है, जिसमें 8192 टोकन तक की मूल संदर्भ लंबाई है। इस मॉडल में नवीनतम आर्किटेक्चर सुधार शामिल हैं, जैसे लंबे संदर्भ का समर्थन करने के लिए घूर्णन स्थिति एम्बेडिंग (RoPE), लंबे इनपुट की दक्षता में सुधार के लिए स्थानीय-वैश्विक वैकल्पिक ध्यान, और अनुमान दक्षता में सुधार के लिए बिना पैडिंग और Flash Attention। ModernBERT-लार्ज लंबे दस्तावेज़ों को संसाधित करने वाले कार्यों के लिए उपयुक्त है, जैसे पुनर्प्राप्ति, वर्गीकरण और बड़े कॉर्पस में सिमेंटिक खोज। मॉडल प्रशिक्षण डेटा मुख्य रूप से अंग्रेजी और कोड है, इसलिए अन्य भाषाओं में इसका प्रदर्शन कम हो सकता है।