最近，有消息称，OpenAI 正在与博通（Broadcom）展开合作，计划开发一款定制的推理芯片。根据路透社的报道，这两个公司之间的讨论非常机密，而台湾半导体制造公司(TSMC)可能会作为此次项目的代工厂。这一消息引发了外界对 OpenAI 未来发展方向的广泛猜测。图源备注:图片由AI生成，图片授权服务商Midjourney那么，OpenAI 为何需要一款自己的推理芯片呢?首先，OpenAI 的云计算费用非常庞大，尽管有像微软这样的合作伙伴在部分费用上给予支持，但自己掌控硬件无疑能够大幅降低运营成本。许多

本文概述了AI推理芯片领域的最新发展，特别是MLPerf推理v4.1竞赛的结果，该竞赛汇集了来自AMD、谷歌、UntetherAI、Cerebras、FuriosaAI以及Nvidia等公司的最新芯片。Nvidia的H200和GH200芯片在“数据中心封闭”类别中保持领先，但其他公司的芯片在特定任务上表现出色，尤其是在能效方面。AMD的Instinct加速器、谷歌的Trillium加速器以及UntetherAI的speedAI240预览芯片在不同任务上表现出色，显示了市场上的竞争激烈。UntetherAI的芯片采用内存计算方法，显示出在能效和延迟方面有显著优势。Cerebras和FuriosaAI虽然没有参加MLPerf，但也发布了新芯片，分别展示了其在内存带宽和张量收缩处理器方面的创新。IBM的Spyre芯片则为即将到来的市场增添了新的竞争者。整体而言，AI推理芯片市场的竞争日益激烈，创新技术不断涌现，旨在提高性能、能效和成本效益。