O Meta anunciou em seu site dois clusters de 24.000 GPUs H100, projetados especificamente para treinar o modelo de linguagem grande Llama-3. O Llama-3 utiliza uma rede RoCEv2 e armazenamento em rede NFS/FUSE da Tectonic/Hammerspace. Prevê-se o lançamento para o final de abril ou meados de maio, possivelmente como um modelo multimodal e continuará sendo de código aberto. A Meta planeja ter 600.000 unidades de processamento H100 até o final de 2024.
Meta lança dois clusters de 24K GPUs H100 para treinar o Llama-3

AIGC 开放社区
Este artigo é do AIbase Daily
Bem-vindo à coluna [AI Daily]! Este é o seu guia para explorar o mundo da inteligência artificial todos os dias. Todos os dias apresentamos os destaques da área de IA, com foco nos desenvolvedores, para o ajudar a obter insights sobre as tendências tecnológicas e a compreender as aplicações inovadoras de produtos de IA.