ModernBERT ist ein von Answer.AI und LightOn gemeinsam veröffentlichtes Encoder-Modell der neuen Generation. Es stellt ein umfassendes Upgrade des BERT-Modells dar und bietet eine längere Sequenzlänge, bessere Downstream-Performance und eine schnellere Verarbeitungsgeschwindigkeit. ModernBERT nutzt die neuesten Verbesserungen der Transformer-Architektur, legt dabei besonderen Wert auf Effizienz und wurde mit modernen Daten in großem Umfang und aus verschiedenen Quellen trainiert. Als Encoder-Modell zeichnet sich ModernBERT in verschiedenen Aufgaben der Verarbeitung natürlicher Sprache aus, insbesondere bei der Code-Suche und dem Code-Verständnis. Es ist in zwei Modellgrößen verfügbar: Basis (139M Parameter) und Large (395M Parameter), um den Anforderungen verschiedener Anwendungen gerecht zu werden.