ModernBERT es un modelo de codificador de última generación desarrollado conjuntamente por Answer.AI y LightOn. Se trata de una actualización completa del modelo BERT, que ofrece mayor longitud de secuencia, mejor rendimiento en tareas posteriores y una velocidad de procesamiento más rápida. ModernBERT emplea las últimas mejoras en la arquitectura Transformer, con especial atención a la eficiencia, y se ha entrenado con datos modernos a gran escala y de diversas fuentes. Como modelo de codificador, ModernBERT destaca en diversas tareas de procesamiento del lenguaje natural, especialmente en la búsqueda y comprensión de código. Está disponible en dos tamaños: una versión básica (139M parámetros) y una versión grande (395M parámetros), adaptándose a las necesidades de aplicaciones de diferentes escalas.