ModernBERT est un modèle d'encodeur nouvelle génération publié conjointement par Answer.AI et LightOn. Il s'agit d'une version améliorée du modèle BERT, offrant une longueur de séquence plus longue, de meilleures performances en aval et une vitesse de traitement plus rapide. ModernBERT intègre les dernières améliorations de l'architecture Transformer, en privilégiant l'efficacité, et a été entraîné sur des données modernes, tant en termes d'échelle que de sources. En tant que modèle d'encodeur, ModernBERT excelle dans diverses tâches de traitement du langage naturel, notamment la recherche et la compréhension de code. Il est disponible en deux versions : une version de base (139 M de paramètres) et une version large (395 M de paramètres), adaptées aux besoins des applications de toutes tailles.