O Meta anunciou em seu site dois clusters de 24.000 GPUs H100, projetados especificamente para treinar o modelo de linguagem grande Llama-3. O Llama-3 utiliza uma rede RoCEv2 e armazenamento em rede NFS/FUSE da Tectonic/Hammerspace. Prevê-se o lançamento para o final de abril ou meados de maio, possivelmente como um modelo multimodal e continuará sendo de código aberto. A Meta planeja ter 600.000 unidades de processamento H100 até o final de 2024.