Bilibili a annoncé la publication en open source du modèle Index-1.9B, un modèle linguistique IA léger qui a suscité un vif intérêt. Index-1.9B comprend plusieurs versions, notamment un modèle de base, un groupe de contrôle et un modèle de conversation.
1.9B comprend : Index-1.9B base : modèle de base, avec 1,9 milliard de paramètres non liés aux embeddings de mots, pré-entraîné sur 2,8 To de données principalement en chinois et en anglais. Il surpasse les modèles du même niveau sur plusieurs benchmarks.
Index-1.9B pure : groupe de contrôle du modèle de base. Il possède les mêmes paramètres et la même stratégie d'entraînement que le modèle base, la seule différence étant qu'il a été rigoureusement filtré de toutes les données liées aux instructions. Cela permet de vérifier l'impact des instructions sur les benchmarks.
Index-1.9B chat : modèle de conversation basé sur Index-1.9B base, aligné par SFT et DPO. Grâce à l'intégration d'un grand nombre de données provenant de communautés en ligne lors de la pré-formation, il offre une expérience de conversation plus ludique.
Index-1.9B character : basé sur SFT et DPO, il intègre RAG pour permettre la personnalisation de jeux de rôle à quelques exemples (few-shots).
Accès au produit Index-1.9B :https://top.aibase.com/tool/index-1-9b