腾讯今日发布开源MOE大语言模型Hunyuan-large，总参数量达398B，激活参数量52B。公开测评结果显示，腾讯混元Large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先，超过Llama3.1、Mixtral等一流的开源大模型。据了解，该模型在技术创新上可实现高质量合成数据，通过使用合成数据增强训练，有效应对自然数据的不足。在上下文处理能力方面，预训练模型支持高达256K的文本序列，显著增强了处理长上下文任务的能力。同时，腾讯混元宣布，为填补行业

在全球AI视频生成领域掀起新一轮竞争浪潮之际，中国科技企业MiniMax的"海螺AI"以其惊人的表现强势出圈。数据显示，这款诞生于今年4月的AI产品在9月份创下了867.41%的访问量增速，一跃成为全球AI产品访问增速榜首。这款产品的核心竞争力来自于其底层技术支撑。MiniMax基于万亿参数的MoE模型abab-6.5打造了海螺AI，使其具备了与GPT-4、Claude3Opus和Gemini1.5Pro比肩的实力。在实际应用中，海螺AI不仅支持语音通话、文本交互、图像识别等基础功能，更令人瞩目的是其视频生成能力。真正让海螺AI在全

OPPO今日宣布在全球首次成功将专家混合模型（MoE）架构应用于移动设备。这一突破性进展显著提升了AI处理效率，为终端AI技术的进一步发展开辟了新途径，同时也为AI与移动硬件的深度融合奠定了基础。随着AI技术的快速发展，越来越多的AI任务需要在终端设备上完成。然而，大型AI模型往往需要强大的计算能力，这对硬件资源有限的移动设备来说是一个巨大挑战。为突破这一限制，OPPO与领先芯片厂商展开合作，成功在终端设备上实现了MoE架构。MoE架构的核心优势在于能够根据具体任务动

​深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。

艾伦人工智能研究所（AI2）发布了一款开源大型语言模型OLMoE，旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家（MoE）架构，拥有70亿参数，但通过智能路由机制，每个输入标记仅使用10亿参数，实现高效计算。OLMoE包含通用与指令调优两个版本，支持4096标记的上下文窗口。其训练数据来源广泛，包括Common Crawl、Dolma CC和维基百科等。在性能测试中，OLMoE在多项指标上优于其他相似参数模型，甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型，推动学术研究与开发，促进混合专家架构的广泛应用。

在2024年腾讯全球数字生态大会上，腾讯公司副总裁兼云业务总裁邱跃鹏对外宣布——腾讯混元Turbo大模型的正式亮相。这款新一代的大模型基于MoE（Mixture of Experts）架构设计，相较于前一代产品，在推理效率上实现了翻倍，达到了100%的提升，同时在推理成本上实现了显著降低，降幅达到50%。此外，混元Turbo在解码效率方面也表现出色，提升了20%。

​MiniMax稀宇科技近日公布数据称，MiniMax自2021年底成立以来，已经构建了万亿参数的MoE文本大模型、语音大模型及图像大模型，并推出了星野、海螺AI等原生应用，同时为企业和开发者提供开放平台API服务。

["MiniMax 于 2024 年 1 月 16 日发布了国内首个 MoE 大语言模型 abab6。","MoE 架构使得 abab6 具备处理复杂任务的能力，并且在单位时间内能够训练更多的数据。","abab6 在指令遵从、中文综合能力和英文综合能力上均优于之前的版本 abab5.5。","abab6 展现了出色的能力，例如教授儿童数学题目和帮助构建关于上海的虚构桌游。","abab6 作为国内首个 MoE 大语言模型，具备处理复杂任务的能力，并在多个方面表现优异。"]