最近,Inflection AI 在其最新的企业平台上做出了一个引人注目的决定:放弃使用 Nvidia 的 GPU,转而采用 Intel 的 Gaudi3加速器。这一变化标志着该公司在 AI 领域的战略调整,之前其 “Pi” 客户应用都是基于 Nvidia 的 GPU 来运行的。现在,Inflection3.0将依托于 Gaudi3,用户可以选择在本地或云端的 Tiber AI Cloud 上运行。
图源备注:图片由AI生成,图片授权服务商Midjourney
Inflection AI 成立于2022年,最初专注于开发一款名为 Pi 的对话式个人助手。然而,随着创始人 Mustafa Suleyman 和 Karén Simonyan 在春季离职加入微软,公司开始将重点转向为企业构建定制的微调模型,利用客户的数据来提升服务质量。
Inflection3.0是该平台的最新版本,目标是通过使用专有数据集来微调模型,以便为企业打造专属的 AI 应用。值得注意的是,Intel 将是首批使用这一服务的客户之一,这让人不禁猜测 Inflection 是否会为这些加速器支付全价。
尽管 Inflection 计划在 Gaudi3加速器上运行其服务,但显然不会很快建立系统。和之前的 Inflection2.5一样,最新版本也将在 Intel 的 Tiber AI Cloud 服务上运行。不过,Inflection 意识到一些客户可能希望将数据保留在本地,因此计划从2025年第一季度开始提供基于 Intel AI 加速器的物理系统。
使用 Gaudi3加速器的一个好处是,Inflection 在价格性能上大幅提升。Inflection AI 首席执行官 Sean White 在博客中表示,通过使用 Intel 的技术,他们看到了与当前竞争产品相比高达两倍的价格性能提升。Gaudi3在训练和推理速度上也被认为比 Nvidia 的 H100更快,且成本更低。
Gaudi3的技术规格也相当强大,配备128GB 的 HBM2e 内存,带宽高达3.7Tbps,并具备1,835teraFLOPS 的密集 FP8或 BF16性能。在16位精度下,Gaudi3的浮点性能几乎是 H100的两倍,这对 Inflection 专注的训练和微调工作负载非常关键。
此外,Intel 最近还宣布,IBM 将在其云平台中部署 Gaudi3加速器,并计划在2025年早期推出。这意味着,Gaudi3加速器正在逐步赢得市场认可。
划重点:
🌟 Inflection AI 决定放弃 Nvidia GPUs,转用 Intel 的 Gaudi3加速器。
🚀 Inflection3.0将以 Gaudi3为基础,为企业提供定制的 AI 应用。
💰 使用 Gaudi3,Inflection AI 实现了高达两倍的价格性能提升。