Aujourd'hui, NVIDIA annonce le lancement officiel de Colossus, un supercalculateur en collaboration avec xAI. Il s'agit du cluster d'entraînement d'IA le plus puissant au monde, composé de 100 000 GPU NVIDIA Hopper.
Cette infrastructure gigantesque atteint une telle échelle grâce à la plateforme réseau NVIDIA Spectrum-X. Conçue pour les usines d'IA multi-locataires et ultra-évolutives, elle permet un accès direct à la mémoire distante via Ethernet standard, offrant des performances exceptionnelles.
Colossus est principalement utilisé pour entraîner la série de grands modèles linguistiques Grok de xAI, et fournit également des services de chatbot aux utilisateurs X Premium. Plus excitant encore, xAI prévoit de doubler la taille de Colossus, atteignant ainsi 200 000 GPU NVIDIA Hopper.
Gilad Shainer, vice-président senior de NVIDIA, a déclaré que l'IA est devenue une nécessité dans tous les secteurs d'activité, augmentant ainsi les exigences en matière de performances, de sécurité, d'évolutivité et de rentabilité. La plateforme Spectrum-X offre aux innovateurs comme xAI des capacités de traitement, d'analyse et d'exécution des données plus rapides, accélérant ainsi le développement, le déploiement et la mise sur le marché des solutions d'IA.
Elon Musk a également exprimé son admiration, qualifiant Colossus de système d'entraînement le plus puissant au monde et saluant les efforts de l'équipe xAI, de NVIDIA et de leurs nombreux partenaires. Il est à noter que la construction de Colossus a été extrêmement efficace, achevée en seulement 122 jours, alors que des systèmes de taille similaire nécessitent généralement plusieurs mois, voire des années. De la première installation de rack au début de la formation, le processus n'a duré que 19 jours.
Grâce à ce supercalculateur, la plateforme Spectrum-X offre une bande passante allant jusqu'à 400 Gbps, améliorant considérablement la vitesse de transfert des données et réduisant la latence. Cette caractéristique est essentielle pour les entreprises qui ont besoin d'un traitement rapide des données et d'analyses en temps réel. De plus, Spectrum-X est optimisé pour les applications d'IA, rendant le routage et la gestion des données plus intelligents, améliorant ainsi les performances globales du système.
L'architecture de Colossus est conçue pour une évolutivité efficace afin de gérer les quantités massives de données générées par les applications modernes. Parallèlement, Spectrum-X se concentre sur le développement durable, cherchant à réduire la consommation d'énergie des centres de données tout en maintenant des performances élevées, aidant ainsi les organisations à réduire leur empreinte carbone.
Points clés :
🌟 Colossus, un supercalculateur composé de 100 000 GPU NVIDIA Hopper, entraîne actuellement de grands modèles linguistiques et prévoit d'atteindre 200 000 GPU.
⚡ La plateforme réseau Spectrum-X offre une bande passante allant jusqu'à 400 Gbps, optimisant le transfert de données et les capacités d'analyse en temps réel.
🌱 Cette plateforme est axée sur la durabilité, visant à réduire la consommation d'énergie des centres de données tout en maintenant des performances élevées.