XVERSE-MoE-A36Bは、深圳元象科技が独自開発した多言語対応の大規模言語モデルです。混合専門家モデル（MoE）アーキテクチャを採用し、総パラメータ数は2554億、活性化パラメータ数は360億となっています。中国語、英語、ロシア語、スペイン語など40以上の言語に対応しており、特に中国語と英語の二言語において優れた性能を発揮します。8Kトークンの長さの訓練サンプルを使用し、精密なデータサンプリング比率と動的なデータ切り替え戦略によって、モデルの高品質と多様性を確保しています。さらに、MoEアーキテクチャ向けにカスタマイズされた最適化を行い、計算効率と全体のスループットを向上させています。