Meta ha anunciado en su sitio web dos clústeres de 24.000 GPU H100, diseñados específicamente para entrenar el modelo de lenguaje grande Llama-3. Llama-3 utiliza una red RoCEv2 y almacenamiento en red NFS/FUSE de Tectonic/Hammerspace. Se espera que esté disponible a finales de abril o mediados de mayo, posiblemente como un modelo multimodal y seguirá siendo de código abierto. Meta planea tener una capacidad de cómputo de 600.000 H100 para finales de 2024.
Meta lanza dos clústeres de 24K GPU H100 para entrenar Llama-3

AIGC 开放社区
Este artículo proviene de AIbase Daily
¡Bienvenido a la columna [AI Diario]! Aquí está tu guía diaria para explorar el mundo de la inteligencia artificial. Todos los días te presentamos el contenido más destacado en el campo de la IA, centrándonos en los desarrolladores para ayudarte a comprender las tendencias tecnológicas y conocer las aplicaciones innovadoras de productos de IA.