Microsoft hat die neue ND H100v5 virtuelle Maschinen-Serie vorgestellt. Diese Serie ist mit den neuesten NVIDIA H100 Tensor Core GPUs und dem NVIDIA Quantum-2 InfiniBand Netzwerk ausgestattet.
Diese virtuellen Maschinen bieten unübertroffene Rechenleistung dank folgender Eigenschaften: AI-Supercomputing-GPUs, neueste CPUs, ein Netzwerk mit geringer Latenz, optimierte Host-zu-GPU-Leistung sowie umfangreicher Arbeitsspeicher und hohe Bandbreite.
Bei Matrixmultiplikationen mit dem neuen 8-Bit FP8-Gleitkommadatentyp ist die Geschwindigkeit um das Sechsfache gestiegen – deutlich schneller als mit dem Vorgänger FP16.
ND H100v5 VMs ermöglichen bei großen Sprachmodellen (wie z.B. BLOOM175B End-to-End-Modellen) eine bis zu zweifach schnellere Inferenzgeschwindigkeit und bestätigen damit ihr Potenzial zur weiteren Optimierung von KI-Anwendungen.
Eigenschaften der ND H100v5 VM-Serie:
- AI-Supercomputing-GPUs: Acht NVIDIA H100 Tensor Core GPUs
- Neue Generation von CPUs: Intel Xeon Scalable Prozessoren der 4. Generation
- Netzwerk mit geringer Latenz: NVIDIA Quantum-2 ConnectX-7 InfiniBand
- Optimierte Host-zu-GPU-Leistung: 64 GB/s Bandbreite pro GPU über PCIe Gen5
- Umfangreicher Arbeitsspeicher und hohe Bandbreite: DDR5-Speicher