Musk a dépensé 4 milliards de dollars pour acquérir 100 000 puces H100, uniquement pour entraîner Grok3 de xAI ! Cet « Iron Man » de la technologie, qui s'est déjà illustré dans les domaines des fusées et des voitures électriques, vient de faire une grande annonce dans le secteur de l'IA.
Musk a publié deux tweets consécutifs pour promouvoir xAI, annonçant la sortie de Grok2 en août et celle de Grok3, entraîné sur 100 000 puces H100, d'ici la fin de l'année. Il s'agit d'un entraînement de données innovant grâce à une puissance de calcul accrue, visant directement à concurrencer GPT d'OpenAI et à créer un modèle linguistique de nouvelle génération.
Depuis la sortie de Grok1.5, Musk n'a cessé de soutenir xAI, sa start-up spécialisée en IA. Grok est le chatbot d'IA de Musk, marquant son entrée officielle dans le domaine de l'IA générative. xAI, qui rivalise avec des géants comme OpenAI, Google et Meta, se distingue par son approche open source et la construction de son propre centre de supercalcul, témoignant de ses ambitions démesurées.
Depuis mars dernier, xAI a successivement lancé Grok1.5, un grand modèle linguistique, et Grok1.5Vision, son premier modèle multi-modal. xAI a déclaré que Grok1.5V « rivalise avec les modèles multimodaux de pointe actuels » dans plusieurs domaines, notamment le raisonnement multidisciplinaire, la compréhension de documents, les graphiques scientifiques et le traitement de tableaux.
En mai, Musk a déclaré que xAI étant une jeune entreprise, Grok avait encore beaucoup de chemin à parcourir avant de pouvoir rivaliser avec Google DeepMind et OpenAI. Cependant, xAI a travaillé discrètement à améliorer les performances de son modèle, espérant mettre la pression sur les grandes entreprises.
Aujourd'hui, Musk annonce la sortie de Grok2 en août, ce qui représente un progrès considérable en matière d'entraînement des données et pourrait résoudre efficacement « l'effet mille-pattes », c'est-à-dire la production de résultats identiques par le modèle. C'est une bonne nouvelle pour les utilisateurs de grands modèles linguistiques.
Musk a également révélé que Grok3 sera lancé d'ici la fin de l'année et qu'après avoir été entraîné sur 100 000 GPU Nvidia H100, il deviendra « quelque chose de spécial ». Cette commande, d'une valeur de 3 à 4 milliards de dollars, témoigne de l'importance et de l'investissement que Musk accorde à l'IA.
L'utilisation de Grok2 et Grok3 de xAI est également très attendue, et le modèle entraîné sur 100 000 H100 suscite beaucoup d'enthousiasme. Bien que d'autres géants de la technologie, comme Meta, achètent de plus en plus de GPU, l'initiative de xAI témoigne sans aucun doute de son ambition dans le domaine de l'IA.
De plus, Musk supervise personnellement le centre de données de xAI, qui utilise une technologie de refroidissement liquide pour répondre à la demande croissante de calcul intensif de l'IA. La solution de refroidissement liquide, offrant une grande efficacité, des économies d'énergie, et une grande stabilité, est devenue le choix privilégié pour les centres de données d'IA.