Elon Musks Unternehmen xAI hat kürzlich einen bahnbrechenden technologischen Durchbruch erzielt und das KI-Trainingssystem „Colossus“ vorgestellt.
Das Herzstück dieses Systems sind sage und schreibe 100.000 Nvidia H100-GPUs, ein weiterer wichtiger Fortschritt für xAI im Bereich der künstlichen Intelligenz.
Musk teilte diese Neuigkeit am Montag auf der Social-Media-Plattform X und bezeichnete Colossus als „das weltweit leistungsstärkste KI-Trainingssystem“. Dies bedeutet, dass Colossus möglicherweise sogar die Aurora-Supercomputer des US-Energieministeriums übertrifft, die bei einem Benchmark-Test eine beeindruckende Geschwindigkeit von 10,6 Exaflops erreichten.
Die enorme Leistung von Colossus ist hauptsächlich seinen GPUs zu verdanken. Die Nvidia H100-GPU gilt seit ihrer Veröffentlichung im Jahr 2022 als der fortschrittlichste KI-Prozessor.
Diese GPU ist beim Ausführen von Sprachmodellen 30-mal schneller als ihre Vorgänger, insbesondere bei Aufgaben, die auf der Transformer- neuronalen Netzwerkarchitektur basieren.
Um die Leistung von Colossus weiter zu steigern, plant Musk, die Anzahl der Grafikkarten in den nächsten Monaten auf 200.000 zu verdoppeln, darunter 50.000 neue H200-GPUs der nächsten Generation.
Die H200-GPU bietet eine deutlich höhere Datenübertragungsgeschwindigkeit als die H100, was die Effizienz von KI-Modellen erheblich verbessert. Für xAI bedeutet dieses technologische Upgrade, dass sie noch leistungsfähigere Sprachmodelle entwickeln können.
Tatsächlich wurde das Flaggschiff-Produkt von xAI, Grok-2, auf 15.000 GPUs trainiert. Die enorme Rechenleistung von Colossus bedeutet, dass die Entwicklung nachfolgender Versionen deutlich vereinfacht wird. xAI plant, den Nachfolger von Grok-2 noch vor Jahresende vorzustellen.
Es ist erwähnenswert, dass einige Server-GPUs von Colossus ursprünglich für Tesla vorgesehen waren. Berichten zufolge hatte Musk Nvidia gebeten, 12.000 H100-GPUs im Wert von über 500 Millionen US-Dollar an xAI abzugeben.
Bis Ende des Jahres wird Teslas Ausgaben für Nvidia-Hardware voraussichtlich 3 bis 4 Milliarden US-Dollar betragen, was Musks Ehrgeiz in den Bereichen KI und Elektroautos deutlich zeigt.
Wichtigste Punkte:
🌟 Das von xAI entwickelte System „Colossus“ ist mit 100.000 Nvidia H100-GPUs ausgestattet und wird als das weltweit leistungsstärkste KI-Trainingssystem bezeichnet.
🚀 Musk plant, die Anzahl der GPUs von Colossus innerhalb weniger Monate auf 200.000 zu verdoppeln, darunter 50.000 neue H200-GPUs.
💡 Colossus wird das Flaggschiff-Sprachmodell Grok-2 von xAI mit leistungsstarker Rechenleistung unterstützen, dessen Nachfolger voraussichtlich noch vor Jahresende erscheinen wird.