ModernBERT-base

Modelo codificador bidireccional eficiente para el procesamiento de textos largos

Producto ComúnProgramaciónBERTProcesamiento de textos largos
ModernBERT-base es un modelo Transformer codificador bidireccional moderno, preentrenado con 2 billones de datos de texto inglés y código, que admite de forma nativa contextos de hasta 8192 tokens. Este modelo incorpora las últimas mejoras arquitectónicas, como incrustaciones posicionales rotatorias (RoPE), atención alterna local-global y eliminación de relleno (Unpadding), lo que le permite destacar en tareas de procesamiento de textos largos. ModernBERT-base es adecuado para tareas que requieren el procesamiento de documentos largos, como recuperación de información, clasificación y búsqueda semántica en grandes corpus. Los datos de entrenamiento del modelo son principalmente inglés y código, por lo que su rendimiento puede disminuir en otros idiomas.
Abrir sitio web

ModernBERT-base Situación del tráfico más reciente

Total de visitas mensuales

29742941

Tasa de rebote

44.20%

Páginas promedio por visita

5.9

Duración promedio de la visita

00:04:44

ModernBERT-base Tendencia de visitas

ModernBERT-base Distribución geográfica de las visitas

ModernBERT-base Fuentes de tráfico

ModernBERT-base Alternativas