Selon le site web "站长之家", l'équipe Colossal-AI a réussi à entraîner un grand modèle linguistique chinois (LLaMA2) de 8,5 milliards de paramètres en seulement 15 heures, pour un coût de quelques milliers de yuans. Ce résultat a été obtenu grâce à l'augmentation du vocabulaire, la sélection des données et une stratégie d'entraînement en plusieurs étapes.
Cette solution à faible coût permet au LLaMA2 chinois d'atteindre, voire de dépasser, les performances des modèles de même taille sur plusieurs tâches en chinois. L'intégralité du processus d'entraînement, le code et les poids ont été rendus publics (open source), facilitant ainsi la migration et l'application à d'autres langues et domaines, permettant une construction rapide et économique de grands modèles linguistiques. Cette approche a déjà démontré son efficacité dans plusieurs secteurs.
