Yuan2.0-M32 est un modèle linguistique à experts mixtes (MoE) doté de 32 experts, dont 2 actifs. Il introduit un nouveau réseau de routage – le routage par attention – pour une sélection d'experts plus efficace, améliorant ainsi la précision de 3,8 %. Entraîné à partir de zéro sur 2000 milliards de jetons, son coût de calcul est seulement de 9,25 % de celui d'un modèle dense de taille de paramètres équivalente. Il affiche des performances compétitives en codage, en mathématiques et dans divers domaines spécialisés, n'utilisant que 3,7 milliards de paramètres actifs, avec un calcul en passage direct par jeton de seulement 7,4 GFLOPS, soit 1/19ème des besoins de Llama3-70B. Il surpasse Llama3-70B sur les benchmarks MATH et ARC-Challenge, atteignant des précisions de 55,9 % et 95,8 % respectivement.