ModernBERT-base
Modelo codificador bidireccional eficiente para el procesamiento de textos largos
Producto ComúnProgramaciónBERTProcesamiento de textos largos
ModernBERT-base es un modelo Transformer codificador bidireccional moderno, preentrenado con 2 billones de datos de texto inglés y código, que admite de forma nativa contextos de hasta 8192 tokens. Este modelo incorpora las últimas mejoras arquitectónicas, como incrustaciones posicionales rotatorias (RoPE), atención alterna local-global y eliminación de relleno (Unpadding), lo que le permite destacar en tareas de procesamiento de textos largos. ModernBERT-base es adecuado para tareas que requieren el procesamiento de documentos largos, como recuperación de información, clasificación y búsqueda semántica en grandes corpus. Los datos de entrenamiento del modelo son principalmente inglés y código, por lo que su rendimiento puede disminuir en otros idiomas.
ModernBERT-base Situación del tráfico más reciente
Total de visitas mensuales
29742941
Tasa de rebote
44.20%
Páginas promedio por visita
5.9
Duración promedio de la visita
00:04:44