Microsoft ha lanzado la nueva serie de máquinas virtuales ND H100v5, equipadas con las últimas GPU NVIDIA H100 Tensor Core y la red NVIDIA Quantum-2 InfiniBand. Estas máquinas virtuales ofrecen una potencia de cálculo inigualable gracias a sus características:
- GPU de supercomputación para IA: Equipadas con ocho GPU NVIDIA H100 Tensor Core.
- Unidad Central de Procesamiento (CPU) de última generación: Con procesadores Intel Xeon Scalable de cuarta generación.
- Red de baja latencia: Utilizando NVIDIA Quantum-2 ConnectX-7 InfiniBand.
- Rendimiento optimizado de host a GPU: Ofrece 64 GB/s de ancho de banda por GPU a través de PCIe Gen5.
- Gran capacidad de memoria y ancho de banda de memoria: Con memoria DDR5.
La serie ND H100v5 VM ofrece un aumento de velocidad de hasta seis veces en las operaciones de multiplicación de matrices utilizando el nuevo tipo de datos de punto flotante FP8 de 8 bits, superando a la generación anterior FP16. Esto se traduce en una mejora de hasta el doble en la velocidad de inferencia para modelos de lenguaje grandes como BLOOM175B, demostrando su potencial para optimizar aún más las aplicaciones de IA.