深圳元象信息科技有限公司近日宣布,公司已成功发布中国最大的Mixture of Experts(MoE)开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步,将国产开源技术提升至国际领先水平。
XVERSE-MoE-A36B模型拥有255B的总参数和36B的激活参数,其性能可与超过100B参数的大模型相媲美,实现了跨级的性能跃升。该模型在训练时间上减少了30%,推理性能提升了100%,大幅降低了每token的成本,使得AI应用的低成本部署成为可能。
元象XVERSE的"高性能全家桶"系列模型已全面开源,无条件免费供商业使用,这为众多中小企业、研究者和开发者提供了更多的选择机会。MoE架构通过组合多个细分领域的专家模型,打破了传统扩展定律的局限,在扩大模型规模的同时,保持了模型性能的最大化,并降低了训练和推理的计算成本。
在多个权威评测中,元象MoE的效果显著超越了多个同类模型,包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B,以及3140亿参数的MoE开源模型Grok-1-A86B等。
免费下载大模型
Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
Github:https://github.com/xverse-ai/XVERSE-MoE-A36B
问询:opensource@xverse.cn
官网:chat.xverse.cn