字节跳动豆包大模型团队今日宣布，成功研发出全新稀疏模型架构UltraMem，该架构有效解决了MoE（混合专家）模型推理时的高额访存问题，推理速度较MoE提升2-6倍，推理成本最高可降低83%。这一突破性进展为大模型的高效推理开辟了新路径。UltraMem架构在保证模型效果的前提下，成功解决了MoE架构推理时的访存瓶颈。实验结果表明，在参数和激活条件相同的情况下，UltraMem不仅模型效果优于MoE，更将推理速度提升了2-6倍。此外，在常见batch size规模下，UltraMem的访存成本几乎与同计算量的Dense

在2024年腾讯全球数字生态大会上，腾讯公司副总裁兼云业务总裁邱跃鹏对外宣布——腾讯混元Turbo大模型的正式亮相。这款新一代的大模型基于MoE（Mixture of Experts）架构设计，相较于前一代产品，在推理效率上实现了翻倍，达到了100%的提升，同时在推理成本上实现了显著降低，降幅达到50%。此外，混元Turbo在解码效率方面也表现出色，提升了20%。

["文心大模型的日调用量超过5000万次，季度环比增长190%","约有2.6万家企业调用文心大模型，季度环比增长150%","三星、荣耀、汽车之家等知名企业与百度达成合作","百度不断降低文心大模型的推理成本，目前已降低至去年3月版本的1%","越来越多的用户和企业开始使用文心大模型"]

["百度文心大模型推理成本已降低至原本的1%","文心大模型的日调用量超过5000万次，季度环比增长190%","约有2.6万家企业调用文心大模型，季度环比增长150%"]