आधुनिकBERT, Answer.AI और LightOn द्वारा संयुक्त रूप से जारी किया गया एक नई पीढ़ी का एन्कोडर मॉडल है। यह BERT मॉडल का एक व्यापक उन्नत संस्करण है, जो लंबी अनुक्रम लंबाई, बेहतर डाउनस्ट्रीम प्रदर्शन और तेज प्रसंस्करण गति प्रदान करता है। आधुनिकBERT ने नवीनतम ट्रांसफॉर्मर आर्किटेक्चर में सुधार को अपनाया है, विशेष रूप से दक्षता पर ध्यान केंद्रित किया है, और आधुनिक डेटा पैमाने और स्रोतों का उपयोग करके प्रशिक्षित किया गया है। एक एन्कोडर मॉडल के रूप में, आधुनिकBERT विभिन्न प्राकृतिक भाषा प्रसंस्करण कार्यों में उत्कृष्ट प्रदर्शन करता है, खासकर कोड खोज और समझ में। यह बुनियादी संस्करण (139M पैरामीटर) और बड़े संस्करण (395M पैरामीटर) दो मॉडल आकार प्रदान करता है, जो विभिन्न पैमाने की अनुप्रयोग आवश्यकताओं के लिए उपयुक्त है।