甲骨文（Oracle）宣布推出全球首个 Zettascale 云计算集群。这款集群配备了高达131，072个 NVIDIA Blackwell GPU，能够提供高达2.4ZettaFLOPS 的峰值性能。这一强大的 AI 基础设施使企业能够以更高的灵活性和主权处理大规模的 AI 工作负载。甲骨文云基础设施（OCI）与 NVIDIA 的先进 GPU 架构相结合，提供了可扩展的 AI 计算解决方案。这对于全球的企业和研究人员来说，都是至关重要的。NVIDIA 的副总裁 Ian Buck 表示，NVIDIA 的全栈 AI 计算平台与甲骨文的云服务相结合，将在前所未有的规模上提供 AI 计算能

随着全球人工智能市场的迅速发展，图形单元（GPU）作为核心动力，对大语言模型驱动的应用程序至关重要。未来几年，GPU价格波动将显著增加，影响企业成本管理。传统上，能源密集型行业如矿业和物流业已习惯于成本波动，而金融和制药等行业则需迅速适应。Nvidia作为主要供应商，其GPU需求激增，估值飙升。GPU之所以受欢迎，是因其能够并行处理大量计算，适合训练和部署大型语言模型。由于需求激增，企业可能需采取策略以应对成本波动，如自行管理GPU服务器、提前采购或选择合适的GPU类型。地理位置选择也会影响成本，电力成本较低的地区可能成为降低成本的关键。面对AI计算领域快速发展的趋势，企业需制定策略以适应未来价格波动。

AI技术的迅猛发展推动GPU成为全球热销商品，Nvidia在第二季度业绩大增，收入超过300亿美元。然而，强大的GPU需要足够的数据中心来支持，以满足AI需求。Nvidia与合作伙伴向Applied Digital投资1.6亿美元，加速在北达科他州的数据中心建设，旨在围绕Nvidia的GPU提供数据中心和云服务。数据中心建设至关重要，因为GPU价格高昂，高昂费用促使数据中心运营商寻求资金支持。AI数据中心公司如CyrusOne和CoreWeave获得大量融资，AI云初创公司Foundry和专注于定制语言处理单元的Groq也获得资金支持。市场竞争激烈，新公司如TensorWave和Voltage Park正在扩展基于AMD和Nvidia GPU的计算集群。Nvidia投资此类项目旨在增加GPU销售量，通过每小时1美元的订阅收入，如20,000GPU集群带来的收入，体现其巨大商业潜力。

埃隆・马斯克的xAI公司宣布推出名为“Colossus”的人工智能训练系统，其核心是100,000块Nvidia H100 GPU，被认为是全球最强大的AI训练系统。该系统性能甚至可能超越美国能源部的Aurora超级计算机。Colossus的强大主要得益于Nvidia的H100 GPU，这款GPU在运行语言模型时速度比之前的GPU快30倍，尤其在基于Transformer神经网络架构的任务中表现出色。马斯克计划在未来几个月内将GPU数量增加至200,000块，包括50,000块新一代的H200 GPU，以进一步增强性能。此举将为xAI的旗舰大型语言模型Grok-2的继任者提供强大支持，预计该模型将在年底前发布。Colossus的部分服务器GPU原本是为特斯拉预留的，但马斯克向Nvidia请求将价值超过5亿美元的12,000块H100 GPU转给xAI。到年底，特斯拉在Nvidia硬件上的支出预计将达到30亿到40亿美元。

Geekbench AI是一款全新跨平台工具，用于评估设备处理密集型工作负载的性能，特别关注机器学习任务。它通过测量CPU、GPU和NPU性能，提供全精度、半精度和量化评分，并纳入准确度评估。支持多种机器学习框架，包括ONNX、CoreML、TensorFlow Lite和OpenVINO。此工具在Windows、macOS、Linux、Android和iOS上均可使用，旨在全面评估设备在不同任务中的表现。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。

Google Cloud与Y Combinator合作，为AI创业公司提供价值35万美元的云计算资源及专属GPU/TPU集群，支持期限两年。此举措旨在助力AI创新，通过优先使用计算资源及与AI专家一对一交流，帮助创业公司解决技术难题，促进其成长。双方合作旨在培养未来的科技巨头，Google希望通过早期支持建立长期合作关系。这一合作不仅为创业公司解决了计算资源不足的难题，也为Google Cloud提供了与未来独角兽企业合作的机会。

Oracle与Nvidia深化合作，将Nvidia L40S GPU和H100 Tensor Core GPU引入其云基础设施(OCI)中，提供AI加速服务。L40S GPU作为通用AI加速器，适合推理、小型模型训练和图形密集型应用。Nvidia H100 GPU的加入，为不同规模的企业提供了更多灵活性，以利用AI能力。Oracle还优化了其“OCI Supercluster”服务，支持高达65,000个NVIDIA GPU，服务于大型AI模型训练。此举旨在增强Oracle在AI云市场的竞争力，提供更强大的AI计算能力，同时降低小型组织的进入门槛，满足不同规模企业对AI计算需求的增长。

AMD在第二季度的销售数据显示出其在数据中心市场上的强劲表现，Instinct MI300X GPU销售额超过10亿美元，计划在2024财年为公司带来超过45亿美元的收入。数据中心收入同比增长115%，达到28亿美元，占总收入的近一半。然而，游戏部门收入下滑59%，主要由于微软和索尼游戏主机需求放缓。AMD预计第三季度游戏收入将继续下滑，但数据中心和客户端产品的收入将继续增长，主要依靠MI300X GPU和新发布的Ryzen AI及Ryzen9000处理器的强劲需求。供应链紧张问题预计将持续到2025年。

最近，苹果公司宣布他们在开发人工智能模型时，选择了谷歌的张量处理单元（TPU），而不是行业内广泛使用的 NVIDIA 图形处理单元(GPU)。这一消息在苹果周一发布的技术论文中曝光，文中详细介绍了他们在 AI 能力方面的最新进展。

Meta公司使用16384块GPU训练最新AI模型Llama3.1，展现了AI技术的惊人发展速度。然而，这一过程中平均每3小时即发生一次故障，共发生419次故障，其中约一半与H100 GPU及其HBM3内存相关。这一数据揭示了超算系统在追求性能突破时面临的可靠性挑战。Llama3.1训练集群的复杂性堪比小型城市神经网络，故障频发。Meta团队采取策略，如减少作业启动和检查点时间，开发诊断工具，以提高系统容错能力和自动化处理能力。同时，环境因素和功耗波动也对超算集群构成挑战，温度变化和GPU功耗波动影响训练性能。这些经验为AI行业提供了宝贵的学习机会，展示了在追求技术极限过程中所面临的真实挑战。

GPU云计算公司Lambda推出1-Click集群服务，允许用户按需获取Nvidia H100GPU和Quantum2InfiniBand集群，特别适合短期需要GPU算力的公司。此创新服务简化了硬件和软件协调流程，无需长期合同，用户只需在需要时预订，最小预订时间为两周。Lambda成立于2012年，近期融资3.2亿美元，估值15亿美元，显示出市场对其服务的高需求。此服务针对那些正在建立自己模型、需要大量GPU算力但不需24小时全天候使用的公司，特别是小型AI企业，提供了一种灵活、成本效益高的解决方案。

AMD 发布重要人事调整，公司总裁 Victor Peng 宣布将于下个月退休，留任顾问职位以协助过渡。Peng 自 2022 年加入 AMD，领导 AI 战略，尤其对强化嵌入式业务和推进跨公司 AI 方案贡献显著，使 AMD 成为领先的 FPGA 和自适应计算解决方案供应商。AMD ERP Vamsi Boppana 接管 Instinct 数据中心加速器芯片业务。同时，AMD 加速推进其 Instinct 处理器产品线，以响应与 Nvidia 在数据中心 AI 芯片市场的竞争，计划推出 MI300 和 MI325 处理器，增强市场竞争力。

马斯克于7月9日宣布，其人工智能公司xAI正在打造一台拥有10万块英伟达H100GPU的超级计算机，预计将于本月底交付并开始训练。这一举措标志着xAI终止了与甲骨文扩大现有协议、租用更多英伟达芯片的洽谈。

["Meta 发布两个 24K H100GPU 集群用于训练 Llama-3。","Llama-3 使用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。","预计 Llama-3 将于 4 月末或 5 月中旬上线，可能是多模态模型且会继续开源。","Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。"]

["消费级 GPU 出货量同比增长 32%，达 950 万台。","AI PC 并非主要推动 GPU 销售增长的因素。","AMD 在假期季度取得最大增长，Nvidia 保持市场主导。","分析师预计市场将保持稳定，Nvidia 和 AMD 推出新 GPU。"]

["Groq 公司推出新型 AI 处理器 LPU，性能优秀但成本和能耗仍待改进","LPU 是一种专门用于语言处理的处理器，挑战传统 GPU 在语言任务上的地位","LPU 在效率和成本效益上具有优势，但应用范围较窄","Groq 公司对 LPU 的设计和技术进行了详细介绍和解释"]

["Nvidia 计划推出功耗高达 1000W 的 B100AI 加速器，比之前的产品多出 42% 的功耗","Dell 高管表示，GPU 的功耗将持续增加，但直接液冷可能不再是必需的解决方案","Nvidia 的新一代 GPU 可能包括 B200Superchip，结合 Grace CPU，功耗或将达到 1300 瓦左右"]

["英伟达 H100 GPU 交货周期缩短到3-4个月","部分公司开始转售过剩的 H100 80GB 处理器","对 AI 芯片的需求仍然超过供给","云服务提供商提供按需租用 H100 GPU 的服务","英伟达 H100 等处理器的价格未下降","企业更加注重价格和采购的合理性","AI 领域可能迎来更加平衡的市场格局"]

["英伟达发布全新RTX 500和1000 GPU芯片，AIGC性能提高1400%","RTX 500将成为全球内置强大AIGC且价格最便宜的GPU显卡","入门款产品性能提升，全球内置AIGC","价格方面较为亲民，受到消费者关注"]