O Yuan2.0-M32 é um modelo de linguagem de especialista misto (MoE) com 32 especialistas, dos quais 2 estão ativos. Ele introduz uma nova rede de roteamento – o roteador de atenção – para melhorar a eficiência da seleção de especialistas, resultando em uma melhora de 3,8% na precisão em comparação com modelos que utilizam redes de roteamento tradicionais. O Yuan2.0-M32 foi treinado do zero usando 200 bilhões de tokens, com um custo computacional de apenas 9,25% do necessário para modelos densos de tamanho de parâmetro equivalente. Demonstrando competitividade em codificação, matemática e várias áreas especializadas, o Yuan2.0-M32 possui apenas 370 milhões de parâmetros ativos em um total de 4 bilhões de parâmetros, com um custo computacional de 7,4 GFLOPS por token, apenas 1/19 do necessário para o Llama3-70B. O Yuan2.0-M32 supera o Llama3-70B nos benchmarks MATH e ARC-Challenge, alcançando precisões de 55,9% e 95,8%, respectivamente.