最近，Answer.AI 和 LightOn 联合发布了开源语言模型 ModernBERT，这是对谷歌 BERT 的重大升级。根据开发者的介绍，ModernBERT 在处理速度、效率和质量上都有了显著提升。该模型可以比其前身快四倍，同时使用更少的内存。ModernBERT 的设计允许它处理长达8192个标记的文本，这比现有编码模型的典型512标记限制提高了16倍。此外，ModernBERT 还是首个经过广泛训练的编程代码编码模型，它在 StackOverflow 问答数据集上的得分超过80，创造了编码模型的新纪录。在通用语言理解评估（GLUE）中，ModernBERT-Large