近日,埃隆・马斯克的 xAI 公司完成了一项震撼业界的技术突破,推出了名为 “Colossus” 的人工智能训练系统。

这个系统的核心是整整100,000块 Nvidia 的 H100GPU,标志着 xAI 在 AI 领域的又一重要进展。

马斯克在周一的社交平台 X 上分享了这一消息,声称 Colossus 是 “世界上最强大的 AI 训练系统”。这意味着,Colossus 的性能甚至有可能超过美国能源部的 Aurora 超级计算机,后者在一次基准测试中达到了10.6exaflops 的惊人速度。

image.png

Colossus 的强大主要归功于它的GPU,Nvidia 的 H100GPU自2022年发布以来,一直被视为最先进的 AI 处理器。

这款GPU在运行语言模型时,速度比之前的 GPU 快了30倍,尤其是在处理基于 Transformer 神经网络架构的任务时表现尤为突出。

为了进一步增强 Colossus 的性能,马斯克计划在接下来的几个月内将显卡的数量增加到200,000块,其中将包括50,000块新一代的 H200GPU。

H200GPU在数据传输速度方面相比 H100有着显著的提升,这将极大地提高 AI 模型的运行效率。对于 xAI 来说,这样的技术升级意味着他们可以开发出更强大的语言模型。

实际上,xAI 的旗舰产品 Grok-2曾在15,000块GPU上训练,而现在 Colossus 的强大计算能力,意味着其后续版本的开发将会更加顺利。xAI 计划在年底之前推出 Grok-2的继任者。

值得一提的是,Colossus 的一些服务器GPU本来是为特斯拉公司预留的。根据之前的报道,马斯克曾向 Nvidia 要求将价值超过5亿美元的12,000块 H100GPU转给 xAI。

预计到年底,特斯拉在 Nvidia 硬件上的支出将达到30亿到40亿美元,这显示出马斯克在 AI 和电动车领域的雄心壮志。

划重点:

🌟 xAI 推出的 “Colossus” 系统配备100,000块 Nvidia H100GPU,号称全球最强 AI 训练系统。  

🚀 马斯克计划在几个月内将 Colossus 的GPU数量翻倍至200,000块,其中包括50,000块新版本的 H200GPU。  

💡 Colossus 将为 xAI 的旗舰大型语言模型 Grok-2的继任者提供强大的计算支持,预计将在年底前发布。