埃隆・马斯克的xAI公司宣布推出名为“Colossus”的人工智能训练系统，其核心是100,000块Nvidia H100 GPU，被认为是全球最强大的AI训练系统。该系统性能甚至可能超越美国能源部的Aurora超级计算机。Colossus的强大主要得益于Nvidia的H100 GPU，这款GPU在运行语言模型时速度比之前的GPU快30倍，尤其在基于Transformer神经网络架构的任务中表现出色。马斯克计划在未来几个月内将GPU数量增加至200,000块，包括50,000块新一代的H200 GPU，以进一步增强性能。此举将为xAI的旗舰大型语言模型Grok-2的继任者提供强大支持，预计该模型将在年底前发布。Colossus的部分服务器GPU原本是为特斯拉预留的，但马斯克向Nvidia请求将价值超过5亿美元的12,000块H100 GPU转给xAI。到年底，特斯拉在Nvidia硬件上的支出预计将达到30亿到40亿美元。

埃隆·马斯克展示了特斯拉在奥斯汀总部建设的Cortex AI超级计算机群的内部构造，预计在启动时需要130兆瓦的冷却和电力，到2026年增长至500兆瓦。该计算机群包含70,000个AI服务器，主要用于解决现实世界的AI问题，特别是训练特斯拉的全自动驾驶系统和Optimus机器人的AI。Cortex在启动时将完全依赖Nvidia的硬件，而特斯拉自己的硬件预计将在稍后阶段上线。该计算机群的散热系统同样引人注目，包括一个巨大风扇系统和Supermicro提供的液体冷却解决方案。

英伟达在推出新一代AI芯片Blackwell系列过程中遇到工程难题，导致产品发布进度延迟，影响了市场预期。主要问题在于一种AI加速器需要重新设计以兼容Hopper H100芯片，以及一款处理器与显卡结合的产品因技术问题无法大量上市。这些挑战显示了技术创新过程中的复杂性。英伟达的股价因此下跌6.4%，而竞争对手AMD股价上涨1.8%。尽管面临延迟，分析师认为这不会对英伟达的收入增长和长期发展造成重大影响。英伟达的CEO黄仁勋表示，Blackwell系列芯片已进入全面生产阶段，并预计需求将持续超过供应。

今天，AMD 公布了2024年第二季度的财报，令人瞩目的消息是:现在近一半的销售额来自于数据中心产品。这一转变标志着 AMD 正在向 AI 芯片领域迈进，超越了以往对个人电脑、游戏主机以及工业和车辆嵌入式芯片的依赖。

Meta公司使用16384块GPU训练最新AI模型Llama3.1，展现了AI技术的惊人发展速度。然而，这一过程中平均每3小时即发生一次故障，共发生419次故障，其中约一半与H100 GPU及其HBM3内存相关。这一数据揭示了超算系统在追求性能突破时面临的可靠性挑战。Llama3.1训练集群的复杂性堪比小型城市神经网络，故障频发。Meta团队采取策略，如减少作业启动和检查点时间，开发诊断工具，以提高系统容错能力和自动化处理能力。同时，环境因素和功耗波动也对超算集群构成挑战，温度变化和GPU功耗波动影响训练性能。这些经验为AI行业提供了宝贵的学习机会，展示了在追求技术极限过程中所面临的真实挑战。

GPU云计算公司Lambda推出1-Click集群服务，允许用户按需获取Nvidia H100GPU和Quantum2InfiniBand集群，特别适合短期需要GPU算力的公司。此创新服务简化了硬件和软件协调流程，无需长期合同，用户只需在需要时预订，最小预订时间为两周。Lambda成立于2012年，近期融资3.2亿美元，估值15亿美元，显示出市场对其服务的高需求。此服务针对那些正在建立自己模型、需要大量GPU算力但不需24小时全天候使用的公司，特别是小型AI企业，提供了一种灵活、成本效益高的解决方案。

马斯克的公司 xAI 在田纳西州孟菲斯投资设立全球规模最大的AI训练集群，运用10万台液冷Nvidia H100 GPU，目标于2024年12月打造“万能AI”，以展现“显著优势”。此举吸引了公众高度关注，为xAI使AI领域的竞争更趋激烈。面临同行如OpenAI、谷歌、微软、Meta等加速研发强大语言模型的压力，xAI需研发具有产业化价值的新技术以保持竞争优势。值得关注的是，微软正与OpenAI联手研发成本高达1000亿美元的AI训练超级计算机“星门”。此计划可能改变全球AI竞赛格局，xAI的孟菲斯超级集群能否维持其在全球的地位将是个挑战。

马斯克于7月9日宣布，其人工智能公司xAI正在打造一台拥有10万块英伟达H100GPU的超级计算机，预计将于本月底交付并开始训练。这一举措标志着xAI终止了与甲骨文扩大现有协议、租用更多英伟达芯片的洽谈。

马斯克在推特上连回两条，为xAI造势，宣布8月发布Grok2，年底将推出在10万张H100上训练的Grok3。这可是芯片加持的创新数据训练，目标直指OpenAI的GPT，打造新一代大语言模型。

马斯克近日宣布其人工智能初创公司xAI即将在八月推出其革新性大语言模型——Grok-2，预示着更加先进的人工智能功能即将面世。尽管Grok-2尚未揭开神秘面纱，但马斯克已迫不及待地为后续力作Grok-3预热。

["OpenAI 的 Sora 在 NVIDIA H100 上每小时生成 5 分钟视频，每天可生成 120 分钟视频","为支持 TikTok 和 YouTube 创作者社区，约需 720,000 个 NVIDIA H100GPU","Sora 推出后将面向视觉艺术家和电影制作人，计划加入声音和编辑灵活性","OpenAI 向好莱坞推广 Sora，创作者在上传视频前可能生成多个候选视频"]

["Meta 发布两个 24K H100GPU 集群用于训练 Llama-3。","Llama-3 使用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。","预计 Llama-3 将于 4 月末或 5 月中旬上线，可能是多模态模型且会继续开源。","Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。"]

["英伟达 H100 GPU 交货周期缩短到3-4个月","部分公司开始转售过剩的 H100 80GB 处理器","对 AI 芯片的需求仍然超过供给","云服务提供商提供按需租用 H100 GPU 的服务","英伟达 H100 等处理器的价格未下降","企业更加注重价格和采购的合理性","AI 领域可能迎来更加平衡的市场格局"]

["Nvidia最新季度收入显著增长，数据中心产品是主要贡献","过去一个季度Nvidia通过H100售出50万个GPU","Meta和微软是H100最大的客户，每家购买了15万个GPU","预计随着公司逐渐转向自家GPU，销量会下降","分析认为Nvidia将在第四季度再次达到H100和A100的销售目标"]

["微软推出全新 ND H100v5 虚拟机系列，配备 8 个英伟达 H100 芯片。","虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络。","使用新的 8 位 FP8 浮点数据类型进行矩阵乘法操作时，速度提升了六倍。","ND H100v5VM 帮助大型语言模型实现了最高两倍的推理速度提升。","ND H100v5VM 具备 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能、大规模的内存和内存带宽等特性。"]

文章介绍了 GPT-5 的训练所需的 H100 数量以及全球对 H100 的需求情况，解释了英伟达 GPU 供应链短缺的原因，对于对 GPU 短缺问题感兴趣的读者值得一读。