在人工智能迅速发展的时代，大型模型的智能化水平不断提升，但随之而来的推理系统效率挑战也越来越明显。如何应对高推理负载、降低推理成本、缩短响应时间，已成为业界共同面对的重要问题。Kimi 公司联合清华大学的 MADSys 实验室，推出了基于 KVCache 的 Mooncake 推理系统设计方案，该方案于2024年6月正式发布。Mooncake 推理系统通过创新的 PD 分离架构和以存换算为中心的理念，显著提升了推理的吞吐能力，吸引了广泛的行业关注。为了进一步推动这一技术框架的应用与普及，Kimi 与清华

近日，阿里巴巴最新推出的推理人工智能模型QwQ-32B-Preview已经引起了业界的广泛关注。这款模型由阿里巴巴的Qwen团队开发，包含325亿个参数，能够处理长度达32，000个单词的提示，并在多个基准测试中超越了OpenAI的o1系列。QwQ-32B-Preview的开创性在于，它是少数几个能够与OpenAI的推理模型相媲美的模型之一，并且是首个可以在宽松许可下下载的推理模型。根据阿里巴巴的测试，QwQ-32B-Preview在AIME和MATH测试中均超过了OpenAI的o1模型，其中AIME使用其他AI模型评估性能，而MATH则是由一系列文字问题组

在人工智能领域，一项来自中国的创新性研究正在引起广泛关注。清华大学和上海人工智能实验室的科学家们提出了一种名为"思维导图"（Diagram of Thought，简称DoT）的全新框架，这一突破性成果有望彻底改变我们对AI思维模式的认知。DoT框架的核心理念是模仿人类解决复杂问题的思维过程。就像我们在解答难题时会不断提出假设、批判、修正，最终得出结论一样，DoT让AI能够在单个模型内部构建一个有向无环图（DAG），实现更接近人类的推理方式。这种新型思维模式的独特之处在于它突破了

谷歌 DeepMind 团队与高校合作开发了一种名为生成奖励模型 (GenRM) 的创新方法，旨在提升生成式 AI 在推理任务中的准确性和可靠性。GenRM 将验证过程融入文本生成任务，允许模型同时生成和评估潜在解决方案，同时支持链式推理（CoT），增强验证过程的全面性。相较于传统方法，GenRM 在多项测试中表现出显著优势，准确率提高16%至64%，特别是在学龄前数学和算法问题解决上，问题解决成功率从73%提升至92.8%。这一方法标志着生成式 AI 领域的重大进步，通过统一生成与验证过程，显著提升了 AI 在高风险领域应用的准确性和可信度。

本文概述了AI推理芯片领域的最新发展，特别是MLPerf推理v4.1竞赛的结果，该竞赛汇集了来自AMD、谷歌、UntetherAI、Cerebras、FuriosaAI以及Nvidia等公司的最新芯片。Nvidia的H200和GH200芯片在“数据中心封闭”类别中保持领先，但其他公司的芯片在特定任务上表现出色，尤其是在能效方面。AMD的Instinct加速器、谷歌的Trillium加速器以及UntetherAI的speedAI240预览芯片在不同任务上表现出色，显示了市场上的竞争激烈。UntetherAI的芯片采用内存计算方法，显示出在能效和延迟方面有显著优势。Cerebras和FuriosaAI虽然没有参加MLPerf，但也发布了新芯片，分别展示了其在内存带宽和张量收缩处理器方面的创新。IBM的Spyre芯片则为即将到来的市场增添了新的竞争者。整体而言，AI推理芯片市场的竞争日益激烈，创新技术不断涌现，旨在提高性能、能效和成本效益。

Cerebras Systems Inc.宣布推出号称“世界最快”的AI推理服务，挑战Nvidia Corp.，旨在以更快速度和更低成本完成AI任务。该服务基于WSE-3处理器，拥有90余万计算核心和44GB内存，核心数量是Nvidia H100的52倍。声称推理速度可达每秒1,000个令牌，比Nvidia同类服务快20倍，且性价比高100倍。服务提供免费、开发者和企业级三个层级，价格从每百万令牌10美分起。已吸引葛兰素史克、Perplexity AI Inc.、Meter Inc.等知名机构成为早期客户。DeepLearning AI Inc.创始人Andrew Ng博士对该服务给予高度评价。此外，Cerebras还宣布与LangChain、LlamaIndex等多家公司建立战略合作伙伴关系，提供AI开发工具，并与OpenAI兼容，方便现有应用程序迁移。

Cerebras Systems推出Cerebras Inference，宣称这是全球最快的AI推理服务，性能超越基于GPU的传统系统20倍，成本效益显著提高，特别适用于处理大语言模型（LLMs）。其8B版本每秒处理1800个token，70B版本则为450个token，速度和性价比远超NVIDIA GPU解决方案。Cerebras Inference在保持行业领先准确度的同时，价格仅为每百万个token10美分至60美分，相比GPU产品提升100倍。这项服务特别适合构建需要复杂实时性能的下一代AI应用，如智能代理和智能系统，并提供免费、开发者和企业三个层次的服务，满足不同需求。Cerebras Inference的核心技术基于Cerebras CS-3系统，搭载业界领先的Wafer Scale Engine3（WSE-3），提供远超NVIDIA H100的内存带宽。此服务不仅推动了AI计算领域的革新，还在医疗、能源、政府、科学计算和金融服务等多个行业中发挥关键作用，引领AI技术发展。

["Meta工程师估计,明年全球AI推理将新增100万-200万个Nvidia H100图形处理器。","如果全部用于语言模型生成,每人每天可产生10万个token,用电量在合理范围。","仅需新增两座核电站,就可以为全球AI推理提供足够电力。","模型训练面临数据量不足限制,研究人员正致力于提高模型效率。","未来3-4年内有望知晓当前技术是否能实现通用AI。"]