Meta hat auf seiner Website die Veröffentlichung von zwei 24K H100-GPU-Clustern angekündigt, die speziell für das Training des großen Sprachmodells Llama-3 entwickelt wurden. Llama-3 nutzt RoCEv2-Netzwerke und Tectonic/Hammerspace NFS/FUSE-Netzwerkspeicher. Der Start wird für Ende April oder Mitte Mai erwartet und es könnte sich um ein multimodales Modell handeln, das weiterhin Open Source bleiben wird. Meta plant, bis Ende 2024 eine Rechenleistung von 600.000 H100 GPUs zu erreichen.