最近，人工智能研究公司 Epoch AI 发布了一款互动模拟器，专门用于模拟训练大型语言模型所需的计算能力。通过这款模拟器，研究人员发现，虽然可以使用2012年的老旧显卡（如 GTX580）来训练 GPT-4，但成本将是如今现代硬件的十倍。Epoch AI 的研究显示，训练 GPT-4所需的浮点运算次数（FLOP）在1e25到1e26之间。为了进行这项研究，模拟器分析了不同显卡的效率，特别是在模型规模扩大时的表现。结果表明，随着模型的增长，效率通常会降低。以近年来推出的 H100显卡为例，它能在较长时间内保

谷歌最近在紧锣密鼓地准备推出他们的最新语言模型 Gemini2.0，预计将在12月份与大家见面。根据来自《The Verge》的消息来源，尽管 Gemini2.0可能不会带来我们期待的重大性能提升，但还是会推出一些有趣的新功能。与此同时，有消息称一些商业客户已经提前获得了这个新模型的使用权限。在 AI 领域，其他公司也在积极推进自的项目。比如，埃隆・马斯克的 xAI 利用在其孟菲斯超级计算中心的100，000个 Nvidia H100芯片来训练 Grok3，而 Meta 则在用更多的计算资源训练 Llama4。谷歌在其旗舰语言模型

英伟达最近在印度开展了一系列与当地企业的合作，目的在于推广其人工智能芯片和技术。这家美国芯片设计公司 CEO 黄仁勋在孟买举行的 AI 峰会上宣布，英伟达与印度最有价值的公司之一 —— 信实工业达成合作，将共同建立 AI 应用的基础设施。此外，科技公司 Tech Mahindra 也将利用英伟达的芯片和软件，开发名为 “Indus2.0” 的印地语 AI 模型。与此同时，基础设施提供商塔塔通讯和 Yotta 数据服务公司也计划在年底前采购数以万计的英伟达 H100芯片，进一步推动 AI 技术的发展。图源备注:图

最近IBM 推出了“Granite3.0”模型，这是一种领先于竞争对手的可访问性技术。该模型旨在降低对生成式 AI 感兴趣的企业的准入门槛，使得更多的企业能够利用人工智能技术。此外，IBM 还提供了一款名为 Watsonx 的付费工具，允许组织在其数据中心内部的运营中启动定制模型。该工具使得企业能够在自己的数据中心内部开发和部署人工智能模型，满足其特定的业务需求。IBM 正在与 NVIDIA 合作，将这些新模型用于商业用途。一些变体也将通过 NVIDIA 的软件工具套件提供，因此 AI 功能可以无缝地交

根据AI研究公司Epoch AI的分析，谷歌可能拥有世界上最大的AI计算能力。这一优势源于谷歌定制的张量处理单元（TPUs），它们提供的计算能力相当于至少60万个Nvidia H100GPU。Epoch AI的研究人员指出:“鉴于谷歌庞大的TPU车队，再加上他们的NVIDIA GPU，谷歌可能拥有任何单一公司中最多的AI计算能力。”图源备注：图片由AI生成，图片授权服务商Midjourney尽管谷歌在总容量上领先，但Nvidia仍然是AI芯片销售的主导者。自2022年初以来，Nvidia已经销售了计算能力相当于约300万个H100GPU的AI芯片。这些芯片大

根据 AI 研究公司 Epoch AI 的分析，谷歌可能拥有全球最大的人工智能计算能力。这一领先地位主要归功于其自主研发的张量处理单元（TPU），其计算能力相当于至少60万个 Nvidia H100GPU。Epoch AI 的研究人员指出，考虑到谷歌庞大的 TPU 阵列以及其使用的 Nvidia GPU，谷歌很可能是目前任何单一公司中 AI 计算能力最强的。尽管谷歌在总计算能力上占据领先，但 Nvidia 在 AI 芯片市场依然是主导者。自2022年初以来，Nvidia 已销售了计算能力相当于大约300万个 H100GPU 的 AI 芯片。这些芯片主要被四大云服务

埃隆・马斯克的xAI公司宣布推出名为“Colossus”的人工智能训练系统，其核心是100,000块Nvidia H100 GPU，被认为是全球最强大的AI训练系统。该系统性能甚至可能超越美国能源部的Aurora超级计算机。Colossus的强大主要得益于Nvidia的H100 GPU，这款GPU在运行语言模型时速度比之前的GPU快30倍，尤其在基于Transformer神经网络架构的任务中表现出色。马斯克计划在未来几个月内将GPU数量增加至200,000块，包括50,000块新一代的H200 GPU，以进一步增强性能。此举将为xAI的旗舰大型语言模型Grok-2的继任者提供强大支持，预计该模型将在年底前发布。Colossus的部分服务器GPU原本是为特斯拉预留的，但马斯克向Nvidia请求将价值超过5亿美元的12,000块H100 GPU转给xAI。到年底，特斯拉在Nvidia硬件上的支出预计将达到30亿到40亿美元。

埃隆·马斯克展示了特斯拉在奥斯汀总部建设的Cortex AI超级计算机群的内部构造，预计在启动时需要130兆瓦的冷却和电力，到2026年增长至500兆瓦。该计算机群包含70,000个AI服务器，主要用于解决现实世界的AI问题，特别是训练特斯拉的全自动驾驶系统和Optimus机器人的AI。Cortex在启动时将完全依赖Nvidia的硬件，而特斯拉自己的硬件预计将在稍后阶段上线。该计算机群的散热系统同样引人注目，包括一个巨大风扇系统和Supermicro提供的液体冷却解决方案。

英伟达在推出新一代AI芯片Blackwell系列过程中遇到工程难题，导致产品发布进度延迟，影响了市场预期。主要问题在于一种AI加速器需要重新设计以兼容Hopper H100芯片，以及一款处理器与显卡结合的产品因技术问题无法大量上市。这些挑战显示了技术创新过程中的复杂性。英伟达的股价因此下跌6.4%，而竞争对手AMD股价上涨1.8%。尽管面临延迟，分析师认为这不会对英伟达的收入增长和长期发展造成重大影响。英伟达的CEO黄仁勋表示，Blackwell系列芯片已进入全面生产阶段，并预计需求将持续超过供应。

今天，AMD 公布了2024年第二季度的财报，令人瞩目的消息是:现在近一半的销售额来自于数据中心产品。这一转变标志着 AMD 正在向 AI 芯片领域迈进，超越了以往对个人电脑、游戏主机以及工业和车辆嵌入式芯片的依赖。

Meta公司使用16384块GPU训练最新AI模型Llama3.1，展现了AI技术的惊人发展速度。然而，这一过程中平均每3小时即发生一次故障，共发生419次故障，其中约一半与H100 GPU及其HBM3内存相关。这一数据揭示了超算系统在追求性能突破时面临的可靠性挑战。Llama3.1训练集群的复杂性堪比小型城市神经网络，故障频发。Meta团队采取策略，如减少作业启动和检查点时间，开发诊断工具，以提高系统容错能力和自动化处理能力。同时，环境因素和功耗波动也对超算集群构成挑战，温度变化和GPU功耗波动影响训练性能。这些经验为AI行业提供了宝贵的学习机会，展示了在追求技术极限过程中所面临的真实挑战。

GPU云计算公司Lambda推出1-Click集群服务，允许用户按需获取Nvidia H100GPU和Quantum2InfiniBand集群，特别适合短期需要GPU算力的公司。此创新服务简化了硬件和软件协调流程，无需长期合同，用户只需在需要时预订，最小预订时间为两周。Lambda成立于2012年，近期融资3.2亿美元，估值15亿美元，显示出市场对其服务的高需求。此服务针对那些正在建立自己模型、需要大量GPU算力但不需24小时全天候使用的公司，特别是小型AI企业，提供了一种灵活、成本效益高的解决方案。

马斯克的公司 xAI 在田纳西州孟菲斯投资设立全球规模最大的AI训练集群，运用10万台液冷Nvidia H100 GPU，目标于2024年12月打造“万能AI”，以展现“显著优势”。此举吸引了公众高度关注，为xAI使AI领域的竞争更趋激烈。面临同行如OpenAI、谷歌、微软、Meta等加速研发强大语言模型的压力，xAI需研发具有产业化价值的新技术以保持竞争优势。值得关注的是，微软正与OpenAI联手研发成本高达1000亿美元的AI训练超级计算机“星门”。此计划可能改变全球AI竞赛格局，xAI的孟菲斯超级集群能否维持其在全球的地位将是个挑战。

马斯克于7月9日宣布，其人工智能公司xAI正在打造一台拥有10万块英伟达H100GPU的超级计算机，预计将于本月底交付并开始训练。这一举措标志着xAI终止了与甲骨文扩大现有协议、租用更多英伟达芯片的洽谈。

马斯克在推特上连回两条，为xAI造势，宣布8月发布Grok2，年底将推出在10万张H100上训练的Grok3。这可是芯片加持的创新数据训练，目标直指OpenAI的GPT，打造新一代大语言模型。

马斯克近日宣布其人工智能初创公司xAI即将在八月推出其革新性大语言模型——Grok-2，预示着更加先进的人工智能功能即将面世。尽管Grok-2尚未揭开神秘面纱，但马斯克已迫不及待地为后续力作Grok-3预热。

["OpenAI 的 Sora 在 NVIDIA H100 上每小时生成 5 分钟视频，每天可生成 120 分钟视频","为支持 TikTok 和 YouTube 创作者社区，约需 720,000 个 NVIDIA H100GPU","Sora 推出后将面向视觉艺术家和电影制作人，计划加入声音和编辑灵活性","OpenAI 向好莱坞推广 Sora，创作者在上传视频前可能生成多个候选视频"]

["Meta 发布两个 24K H100GPU 集群用于训练 Llama-3。","Llama-3 使用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。","预计 Llama-3 将于 4 月末或 5 月中旬上线，可能是多模态模型且会继续开源。","Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。"]

["英伟达 H100 GPU 交货周期缩短到3-4个月","部分公司开始转售过剩的 H100 80GB 处理器","对 AI 芯片的需求仍然超过供给","云服务提供商提供按需租用 H100 GPU 的服务","英伟达 H100 等处理器的价格未下降","企业更加注重价格和采购的合理性","AI 领域可能迎来更加平衡的市场格局"]

["Nvidia最新季度收入显著增长，数据中心产品是主要贡献","过去一个季度Nvidia通过H100售出50万个GPU","Meta和微软是H100最大的客户，每家购买了15万个GPU","预计随着公司逐渐转向自家GPU，销量会下降","分析认为Nvidia将在第四季度再次达到H100和A100的销售目标"]