Meta a annoncé sur son site web la création de deux clusters de 24 000 GPU H100, spécialement conçus pour l'entraînement du grand modèle linguistique Llama-3. Llama-3 utilise un réseau RoCEv2 et un stockage réseau NFS/FUSE via Tectonic/Hammerspace. Son lancement est prévu pour fin avril ou mi-mai, et il pourrait s'agir d'un modèle multi-modalité, toujours en open source. Meta prévoit de disposer d'une capacité de calcul de 600 000 H100 d'ici fin 2024.