ModernBERT-large est un modèle Transformer d'encodage bidirectionnel moderne (de style BERT), pré-entraîné sur 2 billions de données textuelles anglaises et de code, avec une longueur de contexte native pouvant atteindre 8192 jetons. Ce modèle utilise les dernières améliorations architecturales, telles que les plongements de position rotationnelle (RoPE) pour prendre en charge les longs contextes, l'attention alternée locale-globale pour améliorer l'efficacité des longues entrées, et le Flash Attention sans rembourrage pour améliorer l'efficacité de l'inférence. ModernBERT-large convient aux tâches nécessitant le traitement de longs documents, telles que la recherche, la classification et la recherche sémantique dans de vastes corpus. Les données d'entraînement du modèle étant principalement en anglais et en code, ses performances pourraient être inférieures pour d'autres langues.