Récemment, la société xAI d'Elon Musk a réalisé une percée technologique révolutionnaire en lançant son système d'entraînement d'intelligence artificielle baptisé "Colossus".
Au cœur de ce système se trouvent pas moins de 100 000 GPU H100 de Nvidia, marquant une nouvelle avancée majeure pour xAI dans le domaine de l'IA.
Musk a partagé cette nouvelle lundi sur la plateforme X, affirmant que Colossus est « le système d'entraînement d'IA le plus puissant au monde ». Cela signifie que les performances de Colossus pourraient même surpasser celles du supercalculateur Aurora du département américain de l'énergie, qui a atteint la vitesse impressionnante de 10,6 exaflops lors d'un test de référence.
La puissance de Colossus est principalement due à ses GPU. Le GPU H100 de Nvidia, lancé en 2022, est considéré comme le processeur d'IA le plus avancé du marché.
Ce GPU est 30 fois plus rapide que ses prédécesseurs pour l'exécution de modèles linguistiques, notamment pour les tâches basées sur l'architecture de réseau neuronal Transformer.
Pour améliorer encore les performances de Colossus, Musk prévoit de doubler le nombre de cartes graphiques dans les prochains mois, pour atteindre 200 000, dont 50 000 seront des GPU H200 de nouvelle génération.
Le GPU H200 offre une vitesse de transfert de données nettement supérieure à celle du H100, ce qui améliorera considérablement l'efficacité des modèles d'IA. Pour xAI, cette mise à niveau technologique signifie la possibilité de développer des modèles linguistiques encore plus puissants.
En réalité, le produit phare de xAI, Grok-2, a été entraîné sur 15 000 GPU. La puissance de calcul de Colossus permettra désormais de développer ses versions ultérieures plus facilement. xAI prévoit de lancer le successeur de Grok-2 avant la fin de l'année.
Il est à noter que certains GPU de serveurs de Colossus étaient initialement destinés à Tesla. Selon des informations précédentes, Musk aurait demandé à Nvidia de transférer à xAI 12 000 GPU H100 d'une valeur de plus de 500 millions de dollars.
On estime que les dépenses de Tesla en matériel Nvidia atteindront entre 3 et 4 milliards de dollars d'ici la fin de l'année, ce qui témoigne de l'ambition de Musk dans les domaines de l'IA et des véhicules électriques.
Points clés :
🌟 Le système "Colossus" de xAI est équipé de 100 000 GPU Nvidia H100, et se présente comme le système d'entraînement d'IA le plus puissant au monde.
🚀 Musk prévoit de doubler le nombre de GPU de Colossus pour atteindre 200 000 dans les prochains mois, dont 50 000 GPU H200 de nouvelle génération.
💡 Colossus fournira une puissance de calcul considérable pour le successeur du modèle linguistique de grande envergure Grok-2 de xAI, dont le lancement est prévu avant la fin de l'année.