Recientemente, Answer.AI y LightOn lanzaron conjuntamente el modelo de lenguaje abierto ModernBERT, una importante actualización del BERT de Google. Según sus desarrolladores, ModernBERT ofrece mejoras significativas en velocidad, eficiencia y calidad. Este modelo es cuatro veces más rápido que su predecesor y utiliza mucha menos memoria.
ModernBERT está diseñado para procesar textos de hasta 8192 tokens, lo que representa un aumento de 16 veces con respecto al límite típico de 512 tokens de los modelos de codificación existentes. Además, ModernBERT es el primer modelo de codificación de código de programación ampliamente entrenado, alcanzando una puntuación superior a 80 en el conjunto de datos de preguntas y respuestas de StackOverflow, un nuevo récord para modelos de codificación.
En la evaluación de comprensión del lenguaje general (GLUE), ModernBERT-Large logró el mejor equilibrio entre velocidad y precisión, con un tiempo de procesamiento de aproximadamente 20 milisegundos por token y una puntuación de 90. El equipo de desarrollo compara metafóricamente ModernBERT con un Honda Civic afinado, destacando su fiabilidad y eficiencia en aplicaciones cotidianas.
En comparación con los modelos de lenguaje grandes existentes como GPT-4, ModernBERT reduce drásticamente los costes en el procesamiento de textos a gran escala. Mientras que GPT-4 cuesta varios centavos por consulta, ModernBERT se puede ejecutar localmente, de forma más rápida y económica. Por ejemplo, el proyecto FineWeb Edu gastó 60.000 dólares utilizando el modelo BERT para filtrar 15.000 millones de tokens, mientras que incluso con el decodificador Gemini Flash de Google, el coste superó el millón de dólares.
El equipo de desarrollo afirma que ModernBERT es ideal para diversas aplicaciones prácticas, incluyendo sistemas de generación mejorada por recuperación (RAG), búsqueda de código y revisión de contenido. A diferencia de GPT-4, que requiere hardware especializado, ModernBERT puede funcionar eficazmente en GPUs de juegos de consumo estándar.
Actualmente, ModernBERT ofrece dos versiones: un modelo base con 139 millones de parámetros y una versión grande con 395 millones de parámetros. Ambas versiones ya están disponibles en Hugging Face, y los usuarios pueden reemplazar sus modelos BERT existentes directamente. El equipo de desarrollo planea lanzar versiones más grandes el próximo año, pero no tiene previsto incorporar capacidades multimodales. Para fomentar el desarrollo de nuevas aplicaciones, también han lanzado un concurso que premiará a los cinco mejores demostradores con 100 dólares y una suscripción profesional de seis meses a Hugging Face.
Desde que Google lanzó BERT en 2018, este modelo ha sido uno de los modelos de lenguaje más populares, con más de 68 millones de descargas mensuales en HuggingFace.
Enlace al proyecto: https://huggingface.co/blog/modernbert
Puntos clave:
🌟 ModernBERT es cuatro veces más rápido que BERT y puede procesar textos de hasta 8192 tokens.
💰 En comparación con GPT-4, ModernBERT reduce significativamente los costes en el procesamiento de textos a gran escala y es mucho más eficiente.
📊 Este modelo destaca en el procesamiento de código de programación, obteniendo una puntuación superior a 80 en el conjunto de datos de preguntas y respuestas de StackOverflow, estableciendo un nuevo récord.