近日，英伟达发布了其全新的 Blackwell 平台，并在 MLPerf Training4.1基准测试中展示了初步的性能表现。根据测试结果，Blackwell 在某些方面的性能相比于前一代 Hopper 平台实现了翻倍的提升，这一成果引起了业界的广泛关注。在 MLPerf Training4.1基准测试中，Blackwell 平台在 LLM（大语言模型）基准的 Llama270B 微调任务中，每个 GPU 的性能达到了 Hopper 的2.2倍，而在 GPT-3175B 的预训练中则达到了2倍的提升。此外，在 Stable Diffusion v2训练等其他基准测试中，新一代的 Blackwell 也以1.7倍的优势超过了前代产品

本文概述了AI推理芯片领域的最新发展，特别是MLPerf推理v4.1竞赛的结果，该竞赛汇集了来自AMD、谷歌、UntetherAI、Cerebras、FuriosaAI以及Nvidia等公司的最新芯片。Nvidia的H200和GH200芯片在“数据中心封闭”类别中保持领先，但其他公司的芯片在特定任务上表现出色，尤其是在能效方面。AMD的Instinct加速器、谷歌的Trillium加速器以及UntetherAI的speedAI240预览芯片在不同任务上表现出色，显示了市场上的竞争激烈。UntetherAI的芯片采用内存计算方法，显示出在能效和延迟方面有显著优势。Cerebras和FuriosaAI虽然没有参加MLPerf，但也发布了新芯片，分别展示了其在内存带宽和张量收缩处理器方面的创新。IBM的Spyre芯片则为即将到来的市场增添了新的竞争者。整体而言，AI推理芯片市场的竞争日益激烈，创新技术不断涌现，旨在提高性能、能效和成本效益。