Llama-3 8B Instruct 262k
Modèle de génération de texte hautes performances développé par l'équipe Gradient AI.
Produit OrdinaireProductivitéGénération de texteTraitement de longs textes
Llama-3 8B Instruct 262k est un modèle de génération de texte développé par l'équipe Gradient AI. Il étend la longueur du contexte de Llama-3 8B à plus de 160 000 jetons, démontrant le potentiel des grands modèles linguistiques de pointe (SOTA) dans l'apprentissage du traitement de longs textes. Ce modèle, grâce à un réglage approprié des paramètres RoPE thêta, combiné à une interpolation NTK-aware et à des techniques d'optimisation pilotées par les données, permet un apprentissage efficace sur les longs textes. De plus, il est basé sur la librairie EasyContext Blockwise RingAttention, permettant un entraînement évolutif et efficace sur du matériel hautes performances.
Llama-3 8B Instruct 262k Dernière situation du trafic
Nombre total de visites mensuelles
29742941
Taux de rebond
44.20%
Nombre moyen de pages par visite
5.9
Durée moyenne de la visite
00:04:44