​深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。

艾伦人工智能研究所（AI2）发布了一款开源大型语言模型OLMoE，旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家（MoE）架构，拥有70亿参数，但通过智能路由机制，每个输入标记仅使用10亿参数，实现高效计算。OLMoE包含通用与指令调优两个版本，支持4096标记的上下文窗口。其训练数据来源广泛，包括Common Crawl、Dolma CC和维基百科等。在性能测试中，OLMoE在多项指标上优于其他相似参数模型，甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型，推动学术研究与开发，促进混合专家架构的广泛应用。

在2024年腾讯全球数字生态大会上，腾讯公司副总裁兼云业务总裁邱跃鹏对外宣布——腾讯混元Turbo大模型的正式亮相。这款新一代的大模型基于MoE（Mixture of Experts）架构设计，相较于前一代产品，在推理效率上实现了翻倍，达到了100%的提升，同时在推理成本上实现了显著降低，降幅达到50%。此外，混元Turbo在解码效率方面也表现出色，提升了20%。

​MiniMax稀宇科技近日公布数据称，MiniMax自2021年底成立以来，已经构建了万亿参数的MoE文本大模型、语音大模型及图像大模型，并推出了星野、海螺AI等原生应用，同时为企业和开发者提供开放平台API服务。

["MiniMax 于 2024 年 1 月 16 日发布了国内首个 MoE 大语言模型 abab6。","MoE 架构使得 abab6 具备处理复杂任务的能力，并且在单位时间内能够训练更多的数据。","abab6 在指令遵从、中文综合能力和英文综合能力上均优于之前的版本 abab5.5。","abab6 展现了出色的能力，例如教授儿童数学题目和帮助构建关于上海的虚构桌游。","abab6 作为国内首个 MoE 大语言模型，具备处理复杂任务的能力，并在多个方面表现优异。"]