微软推出了全新的 ND H100v5 虚拟机系列，该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性，能够提供无与伦比的计算能力。使用新的 8 位 FP8 浮点数据类型进行矩阵乘法操作时，速度提升了六倍，比前一代的 FP16 更快。ND H100v5VM 帮助大型语言模型（如 BLOOM175B 端到端模型）实现了最高两倍的推理速度提升，验证了它们进一步优化 AI 应用的潜力。ND H100v5VM 虚拟机系列具有以下特性：AI 超级计算 GPU，配备了八个 NVIDIA H100Tensor Core GPU；新一代计算机处理单元（CPU），采用第四代 Intel Xeon Scalable 处理器；低延迟网络，采用 NVIDIA Quantum-2ConnectX-7InfiniBand；优化主机到 GPU 的性能，通过 PCIe Gen5 提供每个 GPU64GB/s 的带宽；大规模的内存和内存带宽，采用 DDR5 内存。