XVERSE-MoE-A36B es un modelo de lenguaje grande multilingüe desarrollado de forma independiente por Shenzhen Yuanxiang Technology. Emplea una arquitectura de modelo de experto mixto (MoE), con un tamaño total de parámetros de 255.400 millones y 36.000 millones de parámetros activos. Este modelo admite más de 40 idiomas, incluyendo chino, inglés, ruso y español, y destaca especialmente en el bilingüismo chino-inglés. El modelo utiliza muestras de entrenamiento de 8K de longitud y, mediante una proporción de muestreo de datos refinada y una estrategia de conmutación de datos dinámica, garantiza la alta calidad y diversidad del modelo. Además, el modelo se ha optimizado a medida para la arquitectura MoE, mejorando la eficiencia computacional y el rendimiento general.