Kürzlich gab Elon Musk auf der Social-Media-Plattform X (ehemals Twitter) bekannt, dass sein Unternehmen xAI sein KI-Trainingscluster auf dem „Memphis Supercluster“ in Memphis, Tennessee, dem weltweit leistungsstärksten KI-Trainingscluster, trainiert. Dieser Cluster stellt die größte Kapitalinvestition in der Geschichte der Stadt dar und hat die Aufmerksamkeit vieler Medien auf sich gezogen.

Lokalen Nachrichtenberichten zufolge verfügt dieser Supercluster über 100.000 flüssigkeitsgekühlte Nvidia H100-Grafikprozessoren (GPUs). Diese Chips werden seit letztem Jahr auf dem Markt angeboten, die Nachfrage ist enorm, und sogar Konkurrenten wie OpenAI setzen diese Geräte ein. Musk erwähnte auch, dass der gesamte Cluster eine Technologie namens „Remote Direct Memory Access“ (RDMA) verwendet, die einen effizienten Datentransfer zwischen den Rechenknoten ermöglicht und die Belastung der zentralen Prozessoren (CPUs) reduziert.

image.png

Ziel von xAI ist es, bis Dezember 2024 mit Hilfe dieses Superclusters eine KI zu trainieren, die „in allen Metriken die leistungsstärkste ist“. Musk betonte in seiner Antwort, dass der Memphis Supercluster einen „erheblichen Vorteil“ für ihr Ziel bieten werde. Angesichts der Verzögerungen bei mehreren Projekten von Musk in der Vergangenheit, betrachten viele dieses Versprechen jedoch mit Skepsis.

Tatsächlich sind die Konkurrenten von xAI nicht untätig. Unternehmen wie OpenAI, Anthropic, Google, Microsoft und Meta arbeiten fieberhaft an der Entwicklung leistungsstärkerer und kostengünstigerer großer Sprachmodelle (LLMs) und kleiner Sprachmodelle (SLMs). Daher benötigt xAI innovative und praktikable neue Modelle, um in diesem KI-Wettbewerb bestehen zu können.

Insider-Informationen zufolge arbeitet Microsoft mit Sam Altman, dem CEO von OpenAI, an einem 100-Milliarden-Dollar-KI-Trainings-Supercomputer mit dem Codenamen „Star Gate“. Sollte dieses Projekt erfolgreich verlaufen, könnte der Memphis Supercluster von xAI seinen Status als weltweit leistungsstärkster Cluster verlieren.

Wichtigste Punkte:

🌟 xAI startet den weltweit leistungsstärksten KI-Trainingscluster mit 100.000 Nvidia H100 GPUs.

⚡ Musk plant, bis Dezember 2024 die „leistungsstärkste KI“ zu trainieren und sieht in dem Cluster einen erheblichen Vorteil.

🚀 xAI steht unter dem Druck von Konkurrenten wie OpenAI und Google und muss innovative Modelle entwickeln, um wettbewerbsfähig zu bleiben.