Mistral-Nemo-Base-2407

Modèle linguistique de grande taille de 12 milliards de paramètres

Produit OrdinaireProgrammationModèle linguistique de grande tailleGénération de texte
Mistral-Nemo-Base-2407 est un modèle de génération de texte pré-entraîné de grande taille, doté de 12 milliards de paramètres, entraîné conjointement par Mistral AI et NVIDIA. Ce modèle a été entraîné sur des données multilingues et de code, surpassant de manière significative les modèles existants de taille similaire ou inférieure. Ses principales caractéristiques incluent : une licence Apache 2.0, des versions pré-entraînées et à instructions, une fenêtre contextuelle de 128 k jetons, la prise en charge de plusieurs langues et données de code, et il se présente comme une alternative à Mistral 7B. L'architecture du modèle comprend 40 couches, une dimension de 5120, 128 têtes, 14364 dimensions cachées, 32 têtes, 8 têtes kv (GQA), un vocabulaire d'environ 128 k jetons et des embeddings rotatifs (θ=1M). Ce modèle excelle dans plusieurs benchmarks, tels que HellaSwag, Winogrande et OpenBookQA.
Ouvrir le site Web

Mistral-Nemo-Base-2407 Dernière situation du trafic

Nombre total de visites mensuelles

29742941

Taux de rebond

44.20%

Nombre moyen de pages par visite

5.9

Durée moyenne de la visite

00:04:44

Mistral-Nemo-Base-2407 Tendance des visites

Mistral-Nemo-Base-2407 Distribution géographique des visites

Mistral-Nemo-Base-2407 Sources de trafic

Mistral-Nemo-Base-2407 Alternatives