深圳元象情報科技有限公司は先日、中国最大級のMixture of Experts（MoE）オープンソース大規模言語モデル「XVERSE-MoE-A36B」の公開を発表しました。このモデルの公開は、中国におけるAI分野における大きな進歩を示し、国産オープンソース技術を国際的なトップレベルに引き上げました。

XVERSE-MoE-A36Bモデルは、総パラメータ数2550億、活性化パラメータ数360億を誇り、1000億を超えるパラメータを持つ大規模モデルに匹敵する性能を実現し、飛躍的な性能向上を達成しました。トレーニング時間は30％削減され、推論性能は100％向上し、トークンあたりのコストを大幅に削減することで、AIアプリケーションの低コスト展開を可能にしました。

微信截图_20240913110614.png

元象XVERSEの「高性能フルパッケージ」シリーズモデルは、既に全面的にオープンソース化され、商業利用も無償で許可されています。これにより、多くの中小企業、研究者、開発者にとって、より多くの選択肢が提供されます。MoEアーキテクチャは、複数の専門分野の専門家モデルを組み合わせることで、従来のスケーリング則の限界を打破し、モデル規模を拡大しながら、モデル性能を最大化し、トレーニングと推論の計算コストを削減します。

複数の権威ある評価において、元象MoEは、国内の千億パラメータMoEモデルSkywork-MoE、従来のMoEのトップランナーであるMixtral-8x22B、そして3140億パラメータのMoEオープンソースモデルGrok-1-A86Bなど、複数の同種モデルを大幅に上回る成果を示しました。

大規模言語モデルの無料ダウンロード

  • Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B

  • 魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A36B

  • Github:https://github.com/xverse-ai/XVERSE-MoE-A36B

  • お問い合わせ:opensource@xverse.cn

  • 公式サイト:chat.xverse.cn