ModernBERT-base

高效处理长文本的双向编码器模型

普通产品编程BERT长文本处理
ModernBERT-base是一个现代化的双向编码器Transformer模型,预训练于2万亿英文和代码数据,原生支持长达8192个token的上下文。该模型采用了Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention和Unpadding等最新架构改进,使其在长文本处理任务中表现出色。ModernBERT-base适用于需要处理长文档的任务,如检索、分类和大型语料库中的语义搜索。模型训练数据主要为英文和代码,因此可能在其他语言上的表现会有所降低。
打开网站

ModernBERT-base 最新流量情况

月总访问量

20899836

跳出率

46.04%

平均页面访问数

5.2

平均访问时长

00:04:57

ModernBERT-base 访问量趋势

ModernBERT-base 访问地理位置分布

ModernBERT-base 流量来源

ModernBERT-base 替代品