在人工智能领域，一项来自中国的创新性研究正在引起广泛关注。清华大学和上海人工智能实验室的科学家们提出了一种名为"思维导图"（Diagram of Thought，简称DoT）的全新框架，这一突破性成果有望彻底改变我们对AI思维模式的认知。DoT框架的核心理念是模仿人类解决复杂问题的思维过程。就像我们在解答难题时会不断提出假设、批判、修正，最终得出结论一样，DoT让AI能够在单个模型内部构建一个有向无环图（DAG），实现更接近人类的推理方式。这种新型思维模式的独特之处在于它突破了

谷歌 DeepMind 团队与高校合作开发了一种名为生成奖励模型 (GenRM) 的创新方法，旨在提升生成式 AI 在推理任务中的准确性和可靠性。GenRM 将验证过程融入文本生成任务，允许模型同时生成和评估潜在解决方案，同时支持链式推理（CoT），增强验证过程的全面性。相较于传统方法，GenRM 在多项测试中表现出显著优势，准确率提高16%至64%，特别是在学龄前数学和算法问题解决上，问题解决成功率从73%提升至92.8%。这一方法标志着生成式 AI 领域的重大进步，通过统一生成与验证过程，显著提升了 AI 在高风险领域应用的准确性和可信度。

本文概述了AI推理芯片领域的最新发展，特别是MLPerf推理v4.1竞赛的结果，该竞赛汇集了来自AMD、谷歌、UntetherAI、Cerebras、FuriosaAI以及Nvidia等公司的最新芯片。Nvidia的H200和GH200芯片在“数据中心封闭”类别中保持领先，但其他公司的芯片在特定任务上表现出色，尤其是在能效方面。AMD的Instinct加速器、谷歌的Trillium加速器以及UntetherAI的speedAI240预览芯片在不同任务上表现出色，显示了市场上的竞争激烈。UntetherAI的芯片采用内存计算方法，显示出在能效和延迟方面有显著优势。Cerebras和FuriosaAI虽然没有参加MLPerf，但也发布了新芯片，分别展示了其在内存带宽和张量收缩处理器方面的创新。IBM的Spyre芯片则为即将到来的市场增添了新的竞争者。整体而言，AI推理芯片市场的竞争日益激烈，创新技术不断涌现，旨在提高性能、能效和成本效益。

Cerebras Systems Inc.宣布推出号称“世界最快”的AI推理服务，挑战Nvidia Corp.，旨在以更快速度和更低成本完成AI任务。该服务基于WSE-3处理器，拥有90余万计算核心和44GB内存，核心数量是Nvidia H100的52倍。声称推理速度可达每秒1,000个令牌，比Nvidia同类服务快20倍，且性价比高100倍。服务提供免费、开发者和企业级三个层级，价格从每百万令牌10美分起。已吸引葛兰素史克、Perplexity AI Inc.、Meter Inc.等知名机构成为早期客户。DeepLearning AI Inc.创始人Andrew Ng博士对该服务给予高度评价。此外，Cerebras还宣布与LangChain、LlamaIndex等多家公司建立战略合作伙伴关系，提供AI开发工具，并与OpenAI兼容，方便现有应用程序迁移。

Cerebras Systems推出Cerebras Inference，宣称这是全球最快的AI推理服务，性能超越基于GPU的传统系统20倍，成本效益显著提高，特别适用于处理大语言模型（LLMs）。其8B版本每秒处理1800个token，70B版本则为450个token，速度和性价比远超NVIDIA GPU解决方案。Cerebras Inference在保持行业领先准确度的同时，价格仅为每百万个token10美分至60美分，相比GPU产品提升100倍。这项服务特别适合构建需要复杂实时性能的下一代AI应用，如智能代理和智能系统，并提供免费、开发者和企业三个层次的服务，满足不同需求。Cerebras Inference的核心技术基于Cerebras CS-3系统，搭载业界领先的Wafer Scale Engine3（WSE-3），提供远超NVIDIA H100的内存带宽。此服务不仅推动了AI计算领域的革新，还在医疗、能源、政府、科学计算和金融服务等多个行业中发挥关键作用，引领AI技术发展。

["Meta工程师估计,明年全球AI推理将新增100万-200万个Nvidia H100图形处理器。","如果全部用于语言模型生成,每人每天可产生10万个token,用电量在合理范围。","仅需新增两座核电站,就可以为全球AI推理提供足够电力。","模型训练面临数据量不足限制,研究人员正致力于提高模型效率。","未来3-4年内有望知晓当前技术是否能实现通用AI。"]