Yuan2.0-M32 é um modelo de linguagem de especialista misto (MoE) com 32 especialistas, dos quais 2 estão ativos. Apresenta uma nova rede de roteamento - roteamento de atenção - para uma seleção de especialistas mais eficiente, melhorando a precisão em 3,8%. O modelo foi treinado do zero usando 2000B tokens, com um custo computacional de treinamento equivalente a apenas 9,25% do necessário para um modelo denso de escala de parâmetros semelhante. Apresenta desempenho competitivo em codificação, matemática e várias áreas de especialização, usando apenas 3,7B de parâmetros ativos, com um custo de computação de avanço por token de apenas 7,4 GFLOPS, ou seja, 1/19 do necessário para o Llama3-70B. Superou o Llama3-70B nos benchmarks MATH e ARC-Challenge, alcançando precisões de 55,9% e 95,8%, respectivamente.