Yuan2.0-M32-hf-int8 est un modèle linguistique expert mixte (MoE) doté de 32 experts, dont 2 sont actifs simultanément. Ce modèle améliore l'efficacité de la sélection des experts grâce à un nouveau réseau de routage : le routeur d'attention. Cela permet d'obtenir une précision supérieure de 3,8 % par rapport aux modèles utilisant un réseau de routage traditionnel. Yuan2.0-M32 a été entraîné à partir de zéro sur 200 milliards de jetons, avec un coût de calcul représentant seulement 9,25 % de celui d'un modèle dense de taille de paramètres équivalente. Ce modèle fait preuve de compétitivité dans les domaines de la programmation, des mathématiques et divers domaines spécialisés. Il n'utilise que 3,7 milliards de paramètres actifs (sur un total de 4 milliards), et son calcul en avant par jeton n'est que de 7,4 GFLOPS, soit 1/19e des besoins de Llama3-70B. Yuan2.0-M32 surpasse Llama3-70B sur les benchmarks MATH et ARC-Challenge, atteignant respectivement des précisions de 55,9 % et 95,8 %.