ModernBERTは、Answer.AIとLightOnが共同で発表した次世代エンコーダーモデルであり、BERTモデルを全面的にアップグレードしたものです。より長いシーケンス長、優れた下流性能、そして高速な処理速度を提供します。最新のTransformerアーキテクチャの改良を採用し、特に効率性に重点を置いており、大規模で多様なデータソースを用いてトレーニングされています。エンコーダーモデルとして、ModernBERTは様々な自然言語処理タスクで優れた性能を発揮し、特にコード検索と理解においてその力を発揮します。基本版（139Mパラメータ）と大型版（395Mパラメータ）の2つのモデルサイズを提供しており、様々な規模のアプリケーションニーズに対応できます。