最近，英伟达（NVIDIA）新推出的 Blackwell AI 芯片在服务器中出现了过热问题，引发了客户的担忧，担心他们无法及时启用新的数据中心。据The Information报道，Blackwell 图形处理单元(GPU)在与设计能够容纳72个芯片的服务器机架连接时，出现了过热现象。据知情人士透露，英伟达的工程团队正在积极应对这一问题，公司的工作人员已经多次要求供应商调整机架设计，以避免进一步的过热问题。同时，英伟达的发言人在接受《Seeking Alpha》采访时表示:“英伟达正在与领先的云服务提供商紧密合作，

近日，英伟达发布了其全新的 Blackwell 平台，并在 MLPerf Training4.1基准测试中展示了初步的性能表现。根据测试结果，Blackwell 在某些方面的性能相比于前一代 Hopper 平台实现了翻倍的提升，这一成果引起了业界的广泛关注。在 MLPerf Training4.1基准测试中，Blackwell 平台在 LLM（大语言模型）基准的 Llama270B 微调任务中，每个 GPU 的性能达到了 Hopper 的2.2倍，而在 GPT-3175B 的预训练中则达到了2倍的提升。此外，在 Stable Diffusion v2训练等其他基准测试中，新一代的 Blackwell 也以1.7倍的优势超过了前代产品

美国半导体公司 AMD 近日宣布，将裁减全球员工约4%，预计裁员人数在1000人以内。这一举措正值 AMD 在 x86处理器市场上持续超越英特尔的背景下进行，但在从图形处理单元（GPU）向人工智能(AI)加速器的转型中，AMD 却面临着与行业巨头 Nvidia 的激烈竞争。AMD 发言人表示:“为了将资源与我们最大的增长机会对齐，我们采取了一些有针对性的步骤，不幸的是这将导致全球员工减少约4%。” 该公司承诺将以尊重的方式对待受影响员工，并在过渡期间提供帮助。根据 AMD 去年向美国证券交易委员会提

在全球对先进人工智能基础设施需求不断上升的背景下，硅谷的 GPU 云计算提供商 GMI Cloud 宣布完成8200万美元的 A 轮融资。此次融资由 Headline Asia 主导，并得到了 Banpu Next 和纬创资通等知名合作伙伴的支持。这轮融资后，GMI Cloud 的总资本已经超过9300万美元，资金将用于在科罗拉多州开设新的数据中心，从而进一步提升其在北美市场的服务能力，巩固其作为领先的 AI 云服务提供商的地位。图源备注:图片由AI生成，图片授权服务商MidjourneyGMI Cloud 的成立初衷是为了让更多的企业能够轻松接入先

OpenAI最近公布了一项名为sCM（简化型、稳定型和可扩展型一致性模型）的突破性技术，这一创新彻底改变了AI图像模型的训练方式。该技术在原有的一致性模型(CMs)基础上实现了重大突破，为快速图像生成开辟了新天地。技术核心优势:只需两步计算即可生成高质量图像在A100GPU上生成一张图片仅需0.11秒相比传统扩散模型，速度提升50倍最大模型参数达15亿，创下新纪录在实际测试中，sCM的表现令人瞩目。在CIFAR-10数据集上获得了2.06的FID评分，在ImageNet上生成512x512像素图像时达到了1.88的优异成

最近，数据中心公司 RackBank 宣布了一项激动人心的计划，他们将在印度中部的印多尔市建立一个专为人工智能（AI）打造的数据中心。这个数据中心的规模相当可观，预计将能够容纳多达6万块图形处理单元(GPU)，这对推动 AI 技术的发展无疑是一大助力。图源备注:图片由AI生成，图片授权服务商Midjourney这个新的数据中心不仅仅是为了存储和处理数据而建，它还提供灵活的机架密度选项，支持从50kW 到150kW 的多种需求。这意味着，随着技术的发展，数据中心的规模和能力可以轻松扩展，以满足

在AI训练领域，GPU和其他芯片之间的通信互联（interconnects）是数据传输的关键，但这些互联的带宽限制了AI训练的性能。2022年的一项调查显示，AI开发者通常只能利用GPU容量的25%。Xscape Photonics的首席执行官兼联合创始人Vivek Raghunathan提出了一种可能的解决方案:采用具有更高带宽的新互联技术，其核心技术是硅光子技术，这是一种通过操纵光来传输数据的硅基材料。Xscape Photonics位于硅谷核心地带的圣克拉拉，其技术起源于哥伦比亚大学的一个实验室，那里的三位教授发明了一种他们认为可以

最近，NVIDIA 的最新一代 Blackwell GPU 引发了前所未有的需求，CEO 黄仁勋在一次投资者会议上透露，未来12个月的供应量已经完全售罄。这一现象与几个月前 Hopper GPU 的火爆情况相似，说明了市场对高性能计算的强烈渴望。这次的热销主要受到传统客户的推动，包括 AWS、谷歌、Meta、微软、Oracle 以及 CoreWeave 等大型科技公司。可以说，NVIDIA 和其制造合作伙伴台积电在接下来的四个季度内生产的每一块 Blackwell GPU 都已经被这些巨头提前购得。分析师 Joe Moore 指出，NVIDIA 在 AI 处理器市场的份额有

在科技界瞩目的焦点下，AMD在旧金山的“Advancing AI2024”大会上再次成为热议中心，展示了其在人工智能领域的最新成果。10月10日的这场盛会不仅是一场科技狂欢，更是AI计算领域新篇章的开启。大会上，AMD亮出了五大核心产品，覆盖了从旗舰AI芯片到服务器CPU，再到AI网卡、DPU以及移动处理器等多个领域，彰显了其在AI战场上的雄心壮志。现场更是汇聚了谷歌、OpenAI、微软等行业巨头，共同见证了这一AI界的璀璨时刻。AMD此次发布的旗舰AI芯片——Instinct MI325X GPU，采用了先进的HBM3E高带宽内

根据AI研究公司Epoch AI的分析，谷歌可能拥有世界上最大的AI计算能力。这一优势源于谷歌定制的张量处理单元（TPUs），它们提供的计算能力相当于至少60万个Nvidia H100GPU。Epoch AI的研究人员指出:“鉴于谷歌庞大的TPU车队，再加上他们的NVIDIA GPU，谷歌可能拥有任何单一公司中最多的AI计算能力。”图源备注：图片由AI生成，图片授权服务商Midjourney尽管谷歌在总容量上领先，但Nvidia仍然是AI芯片销售的主导者。自2022年初以来，Nvidia已经销售了计算能力相当于约300万个H100GPU的AI芯片。这些芯片大

根据 AI 研究公司 Epoch AI 的分析，谷歌可能拥有全球最大的人工智能计算能力。这一领先地位主要归功于其自主研发的张量处理单元（TPU），其计算能力相当于至少60万个 Nvidia H100GPU。Epoch AI 的研究人员指出，考虑到谷歌庞大的 TPU 阵列以及其使用的 Nvidia GPU，谷歌很可能是目前任何单一公司中 AI 计算能力最强的。尽管谷歌在总计算能力上占据领先，但 Nvidia 在 AI 芯片市场依然是主导者。自2022年初以来，Nvidia 已销售了计算能力相当于大约300万个 H100GPU 的 AI 芯片。这些芯片主要被四大云服务

OpenAI在社交平台公开宣布，他们已经收到了英伟达首批 DGX B200工程机。 DGX B200 可谓是顶尖科技的结晶，搭载了8个强大的 NVIDIA Blackwell GPU，并且使用了第五代 NVIDIA NVLink 进行连接。这样的硬件配置，意味着它的训练和推理能力将远超以往。简单来说，DGX B200在性能上与前几代相比可谓是一次巨大的飞跃。训练效能提升了3倍，而推理效能更是提高了15倍。也就是说，处理数据和执行复杂计算的速度将会变得更加迅猛。这对 OpenAI 来说无疑是一个重大的利好，有助于他们在人工智能领域的研究与

AI GPU 云平台 TensorWave 宣布成功完成了一轮4300万美元的 SAFE 融资。这轮融资由 Nexus 风险投资公司主导，吸引了 Maverick Capital、Translink Capital、Javelin Venture Partners、Granite Partners 以及 AMD Ventures 等多家投资者的参与。这也是内华达州最大的 SAFE 融资案例，展现了 TensorWave 在行业内的强劲潜力。随着这笔资金的注入，TensorWave 计划在其主要数据中心部署数千个 AMD Instinct™ MI300X GPU，进一步提升其计算能力。同时，公司还将扩充团队，推出新的推理平台，并为下一代 AMD Instinct GPU MI325X 的集成铺平道

随着人工智能越来越多地融入企业的工作流程和产品，市场上对机器学习操作平台（MLOps）的需求也在不断上升。这类平台帮助企业更轻松地创建、测试和部署机器学习模型。然而，尽管市场上已有不少竞争者，比如 InfuseAIComet 等创业，以及谷歌云、Azure 和 AWS 等大公司，南韩的 VESSL AI 却希望通过聚焦 GPU 费用的优化，找到自己的发展空间。图源备注：图片由AI生成，图片授权服务商Midjourney最近，VESSL AI 成功完成了一轮1200万美元的 A 轮融资，旨在加速其基础设施的发展，主要服务那些希望

甲骨文（Oracle）宣布推出全球首个 Zettascale 云计算集群。这款集群配备了高达131，072个 NVIDIA Blackwell GPU，能够提供高达2.4ZettaFLOPS 的峰值性能。这一强大的 AI 基础设施使企业能够以更高的灵活性和主权处理大规模的 AI 工作负载。甲骨文云基础设施（OCI）与 NVIDIA 的先进 GPU 架构相结合，提供了可扩展的 AI 计算解决方案。这对于全球的企业和研究人员来说，都是至关重要的。NVIDIA 的副总裁 Ian Buck 表示，NVIDIA 的全栈 AI 计算平台与甲骨文的云服务相结合，将在前所未有的规模上提供 AI 计算能

随着全球人工智能市场的迅速发展，图形单元（GPU）作为核心动力，对大语言模型驱动的应用程序至关重要。未来几年，GPU价格波动将显著增加，影响企业成本管理。传统上，能源密集型行业如矿业和物流业已习惯于成本波动，而金融和制药等行业则需迅速适应。Nvidia作为主要供应商，其GPU需求激增，估值飙升。GPU之所以受欢迎，是因其能够并行处理大量计算，适合训练和部署大型语言模型。由于需求激增，企业可能需采取策略以应对成本波动，如自行管理GPU服务器、提前采购或选择合适的GPU类型。地理位置选择也会影响成本，电力成本较低的地区可能成为降低成本的关键。面对AI计算领域快速发展的趋势，企业需制定策略以适应未来价格波动。

AI技术的迅猛发展推动GPU成为全球热销商品，Nvidia在第二季度业绩大增，收入超过300亿美元。然而，强大的GPU需要足够的数据中心来支持，以满足AI需求。Nvidia与合作伙伴向Applied Digital投资1.6亿美元，加速在北达科他州的数据中心建设，旨在围绕Nvidia的GPU提供数据中心和云服务。数据中心建设至关重要，因为GPU价格高昂，高昂费用促使数据中心运营商寻求资金支持。AI数据中心公司如CyrusOne和CoreWeave获得大量融资，AI云初创公司Foundry和专注于定制语言处理单元的Groq也获得资金支持。市场竞争激烈，新公司如TensorWave和Voltage Park正在扩展基于AMD和Nvidia GPU的计算集群。Nvidia投资此类项目旨在增加GPU销售量，通过每小时1美元的订阅收入，如20,000GPU集群带来的收入，体现其巨大商业潜力。

埃隆・马斯克的xAI公司宣布推出名为“Colossus”的人工智能训练系统，其核心是100,000块Nvidia H100 GPU，被认为是全球最强大的AI训练系统。该系统性能甚至可能超越美国能源部的Aurora超级计算机。Colossus的强大主要得益于Nvidia的H100 GPU，这款GPU在运行语言模型时速度比之前的GPU快30倍，尤其在基于Transformer神经网络架构的任务中表现出色。马斯克计划在未来几个月内将GPU数量增加至200,000块，包括50,000块新一代的H200 GPU，以进一步增强性能。此举将为xAI的旗舰大型语言模型Grok-2的继任者提供强大支持，预计该模型将在年底前发布。Colossus的部分服务器GPU原本是为特斯拉预留的，但马斯克向Nvidia请求将价值超过5亿美元的12,000块H100 GPU转给xAI。到年底，特斯拉在Nvidia硬件上的支出预计将达到30亿到40亿美元。

Geekbench AI是一款全新跨平台工具，用于评估设备处理密集型工作负载的性能，特别关注机器学习任务。它通过测量CPU、GPU和NPU性能，提供全精度、半精度和量化评分，并纳入准确度评估。支持多种机器学习框架，包括ONNX、CoreML、TensorFlow Lite和OpenVINO。此工具在Windows、macOS、Linux、Android和iOS上均可使用，旨在全面评估设备在不同任务中的表现。

Transformer架构作为人工智能领域的明星，以自注意力机制为核心，引领了自然语言处理的革新。然而，处理长上下文时，自注意力计算的资源消耗成为瓶颈。为解决这一问题，研究人员提出Tree Attention方法，通过树状归约分解计算任务，提高效率。此方法不仅减少了通信量和内存使用，且在多GPU环境下比现有方法快8倍。Tree Attention的提出不仅优化了长文本处理，还为Transformer模型的内部机制提供了新的理解视角，预示着在AI研究和应用中具有广泛潜力。