ModernBERT-base

Modèle d'encodeur bidirectionnel hautement performant pour le traitement de longs textes

Produit OrdinaireProgrammationBERTTraitement de longs textes

ModernBERT-base est un modèle Transformer d'encodeur bidirectionnel moderne, pré-entraîné sur 2 000 milliards de données textuelles anglaises et de code. Il supporte nativement des contextes jusqu'à 8192 tokens. Ce modèle intègre les dernières améliorations architecturales, telles que les Rotary Positional Embeddings (RoPE), l'attention alternée locale-globale et la suppression des éléments de remplissage (Unpadding), ce qui lui permet d'exceler dans les tâches de traitement de longs textes. ModernBERT-base convient aux tâches nécessitant le traitement de longs documents, telles que la recherche, la classification et la recherche sémantique dans de grands corpus. Les données d'entraînement étant principalement en anglais et constituées de code, ses performances pourraient être réduites sur d'autres langues.

Prise en charge du traitement de longs textes jusqu'à 8192 tokens
Rotary Positional Embeddings (RoPE) pour la prise en charge de longs contextes
Attention alternée locale-globale pour améliorer l'efficacité des longues entrées
Suppression des éléments de remplissage (Unpadding) et Flash Attention pour optimiser l'efficacité de l'inférence
Pré-entraînement sur des données textuelles et de code à grande échelle
Pas besoin d'identifiants de type de token
simplifiant l'utilisation des tâches en aval
Prise en charge de Flash Attention 2 pour une efficacité accrue

Le public cible est composé des développeurs
des data scientists et des chercheurs ayant besoin de traiter de longs textes. Grâce à sa capacité de traitement de longs textes et à son optimisation pour les données anglaises et le code
ModernBERT-base est particulièrement adapté aux scénarios de traitement du langage naturel
de recherche de code et de recherche sémantique mixte (texte + code).

Recherche d'informations dans des documents à grande échelle
Recherche sémantique dans une base de code pour trouver des fonctions ou des modules pertinents
Classification de texte et recherche sémantique dans de grands corpus

1. Installer la bibliothèque transformers : utiliser pip pour installer git+https://github.com/huggingface/transformers.git.
2. Charger le modèle et le tokenizer : utiliser AutoTokenizer et AutoModelForMaskedLM pour charger le tokenizer et le modèle à partir du modèle pré-entraîné.
3. Préparer le texte d'entrée : introduire le texte à traiter dans le tokenizer pour obtenir le format d'entrée requis par le modèle.
4. Inférence du modèle : transmettre les données d'entrée traitées au modèle pour effectuer l'inférence.
5. Obtenir les résultats de prédiction : pour les tâches de Masked Language Model

Ouvrir le site Web

ModernBERT-base Dernière situation du trafic

Nombre total de visites mensuelles

29742941

Taux de rebond

44.20%

Nombre moyen de pages par visite

5.9

Durée moyenne de la visite

00:04:44

ModernBERT-base Tendance des visites

ModernBERT-base Distribution géographique des visites

Best AI Websites & Tools

ModernBERT-base

ModernBERT-base Dernière situation du trafic

ModernBERT-base Tendance des visites

ModernBERT-base Distribution géographique des visites

ModernBERT-base Sources de trafic

ModernBERT-base Alternatives

ModernBERT-base — Modèle d'encodeur bidirectionnel hautement performant pour le traitement de longs textes

ModernBERT — ModernBERT est un modèle d'encodeur nouvelle génération aux performances exceptionnelles.

Aria-Base-64K — Modèle Mixture-of-Experts multi-modal natif

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 — Modèle de langage de génération de code open source à 3,2 milliards de paramètres

GLM-4-9B-Chat-1M — Modèle pré-entraîné open source de nouvelle génération, prenant en charge les conversations à plusieurs tours et les langues multiples.

AI21-Jamba-Large-1.6 — AI21 Jamba Large 1.6 est un puissant modèle de base à architecture hybride SSM-Transformer, spécialisé dans le traitement de longs textes et l'inférence efficace.

QwQ-32B — QwQ-32B est un puissant modèle d'inférence, conçu pour la résolution de problèmes complexes et la génération de texte, avec des performances exceptionnelles.

Gemini 2.0 Flash-Lite — Gemini 2.0 Flash-Lite est un modèle linguistique efficace, optimisé pour le traitement de longs textes et de nombreux scénarios d'application.

MoBA — MoBA est un mécanisme d'attention par blocs mixtes pour les contextes de longs textes, visant à améliorer l'efficacité des grands modèles de langage.

Magma — Magma est un modèle fondamental capable de comprendre et d'exécuter des entrées multimodales, utilisable pour des tâches et des environnements complexes.

timesfm-2.0-500m-pytorch — Modèle de prédiction de séries temporelles pré-entraîné développé par Google Research.

ModernBERT-large — Modèle Transformer d'encodage bidirectionnel haute performance

OpenEMMA — Modèle multimodal de conduite autonome de bout en bout, open source

SynCamMaster — Technique de génération vidéo synchrone multi-vues

EXAONE 3.5 — Modèle d'IA de pointe offrant une capacité de suivi d'instructions et de traitement de longs textes de premier ordre.

InternVL2_5-26B — Modèle linguistique de grande taille multi-modalité, fusionnant compréhension visuelle et linguistique.

Meta Llama 3.3 — Modèle linguistique large multilingue pré-entraîné de 70 milliards de paramètres

ViTLP — Modèle pré-entraîné de mise en page de texte générée par guidage visuel pour l'intelligence documentaire

LUAR — Modèle d'apprentissage des représentations d'auteurs basé sur Transformer

Qwen2.5-Coder-0.5B-Instruct-GGUF — Modèle d'instruction de 0,5 milliard de paramètres de la série Qwen2.5-Coder

Qwen2.5-Turbo — Modèle linguistique avancé pour le traitement efficace de longs textes

Qwen2.5-Coder-3B-Instruct-GPTQ-Int4 — Modèle d'instruction de 3 milliards de paramètres de la série Qwen2.5-Coder

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8 — Modèle linguistique open source pour la génération de code

Qwen2.5-Coder-32B-Instruct-AWQ — Grand modèle linguistique open source pour la génération de code

Qwen2.5-Coder-0.5B-Instruct — Modèle de génération de code à 0,5 milliard de paramètres, optimisé par instructions, issu de la série Qwen2.5-Coder

Qwen2.5-Coder-3B — Modèle de 3 milliards de paramètres de la série Qwen2.5-Coder, spécialisé dans la génération et la compréhension de code.

Rapport technique Qwen2.5-Coder — Série de rapports techniques Qwen2.5-Coder

Qwen2.5-Coder-32B — Modèle de génération de code open source le plus volumineux de la série Qwen2.5-Coder

kelindar/search — Bibliothèque Go pour la recherche vectorielle embarquée et les embeddings sémantiques

Aya Expanse-8b — Modèle linguistique de grande taille multilingue, prenant en charge 23 langues