Yuan2.0-M32 es un modelo de lenguaje de experto mixto (MoE) con 32 expertos, de los cuales 2 están activos. Se ha introducido una nueva red de enrutamiento, el enrutador de atención, para mejorar la eficiencia de la selección de expertos, lo que permite que el modelo mejore la precisión en un 3,8% en comparación con los modelos que utilizan redes de enrutamiento tradicionales. Yuan2.0-M32 se entrenó desde cero utilizando 200 mil millones de tokens, con un coste computacional de entrenamiento que representa solo el 9,25% del requerido por un modelo denso de igual escala de parámetros. Demuestra competitividad en codificación, matemáticas y diversas áreas especializadas. Yuan2.0-M32, con un total de 4 mil millones de parámetros, solo tiene 370 millones de parámetros activos, con un coste computacional de avance de 7,4 GFLOPS por token, apenas 1/19 de la demanda de Llama3-70B. Yuan2.0-M32 supera a Llama3-70B en los benchmarks MATH y ARC-Challenge, alcanzando una precisión del 55,9% y el 95,8%, respectivamente.