Récemment, Elon Musk a annoncé sur la plateforme X (anciennement Twitter) que sa société xAI entraînait son intelligence artificielle sur le « Memphis Supercluster », le cluster d'entraînement d'IA le plus puissant au monde, situé à Memphis, dans le Tennessee. Ce cluster représente le plus important investissement de capitaux de l'histoire de la ville, attirant ainsi l'attention des médias.
Selon les informations locales, ce supercluster est équipé de 100 000 unités de traitement graphique (GPU) Nvidia H100 refroidies par liquide. Ces puces, lancées l'année dernière, sont très demandées, et même son concurrent OpenAI les utilise. Musk a également mentionné que le cluster utilise une technologie appelée « Remote Direct Memory Access » (RDMA), permettant un transfert de données efficace entre les nœuds de calcul et réduisant la charge sur les unités centrales de traitement (CPU).
L'objectif de xAI est d'entraîner, grâce à ce supercluster, une IA « la plus puissante sur tous les indicateurs » d'ici décembre 2024. Musk a souligné dans une réponse que le Memphis Supercluster offrirait un « avantage significatif » à leurs objectifs. Cependant, compte tenu des retards enregistrés par Musk sur plusieurs projets, beaucoup restent prudents quant à la réalisation de cette promesse.
En réalité, les concurrents de xAI ne restent pas inactifs. Des entreprises comme OpenAI, Anthropic, Google, Microsoft et Meta s'efforcent de développer des modèles linguistiques de grande taille (LLM) et de petite taille (SLM) plus puissants et plus économiques. Par conséquent, xAI a besoin de modèles nouveaux, innovants et pratiques pour se maintenir dans cette compétition acharnée dans le domaine de l'intelligence artificielle.
De plus, des sources bien informées révèlent que Microsoft collabore avec Sam Altman, PDG d'OpenAI, pour développer un supercalculateur d'entraînement d'IA de 100 milliards de dollars, baptisé « Star Gate ». Si ce projet aboutit, le Memphis Supercluster de xAI pourrait ne pas conserver son titre de cluster le plus puissant au monde.
Points clés :
🌟 xAI lance le cluster d'entraînement d'IA le plus puissant au monde, équipé de 100 000 GPU Nvidia H100.
⚡ Musk prévoit d'entraîner l'IA « la plus puissante » d'ici décembre 2024, et affirme que le cluster offrira un avantage significatif.
🚀 xAI subit la pression d'OpenAI, Google et d'autres concurrents, et doit proposer des modèles innovants pour rester compétitif.