Meta ha anunciado en su sitio web dos clústeres de 24.000 GPU H100, diseñados específicamente para entrenar el modelo de lenguaje grande Llama-3. Llama-3 utiliza una red RoCEv2 y almacenamiento en red NFS/FUSE de Tectonic/Hammerspace. Se espera que esté disponible a finales de abril o mediados de mayo, posiblemente como un modelo multimodal y seguirá siendo de código abierto. Meta planea tener una capacidad de cómputo de 600.000 H100 para finales de 2024.