先日、イーロン・マスク氏のxAI社が業界を震撼させる技術的ブレークスルーを達成し、「Colossus」というAIトレーニングシステムを発表しました。
このシステムの中核は、なんと10万枚ものNvidia H100 GPUであり、xAI社のAI分野における新たな重要な進歩を示しています。
マスク氏は月曜日にソーシャルメディアXでこのニュースを共有し、Colossusを「世界最強のAIトレーニングシステム」と主張しました。これは、Colossusの性能が、ベンチマークテストで10.6エクサフロップスの驚異的な速度を達成した米国エネルギー省のAuroraスーパーコンピューターを上回る可能性さえあることを意味します。
Colossusの圧倒的なパワーは、そのGPU、NvidiaのH100 GPUによるものです。2022年の発売以来、H100 GPUは最先端のAIプロセッサーとして認識されています。
このGPUは、言語モデルを実行する際の速度が従来のGPUと比べて30倍も速く、特にTransformerニューラルネットワークアーキテクチャに基づくタスク処理において顕著な性能を発揮します。
Colossusの性能をさらに向上させるため、マスク氏は今後数ヶ月以内にGPUの数を20万枚に倍増する計画で、その中には5万枚の次世代H200 GPUが含まれます。
H200 GPUは、H100と比べてデータ転送速度が大幅に向上しており、AIモデルの実行効率を劇的に高めます。xAI社にとって、このような技術的アップグレードは、より強力な言語モデルの開発を意味します。
実際、xAI社の主力製品であるGrok-2は1万5千枚のGPUでトレーニングされましたが、Colossusの強力な計算能力により、後続バージョンの開発がよりスムーズに進みます。xAI社は年末までにGrok-2の後継製品をリリースする予定です。
特筆すべきは、Colossusの一部サーバー用GPUはもともとテスラ社向けに確保されていたことです。以前の報道によると、マスク氏はNvidia社に対し、5億ドル以上の価値を持つ1万2千枚のH100 GPUをxAI社に譲渡するよう要請していました。
年末までに、テスラ社のNvidiaハードウェアへの支出は30億～40億ドルに達すると予想されており、マスク氏のAIと電気自動車分野における野望を示しています。
要点：
🌟 xAI社が発表した「Colossus」システムは、10万枚のNvidia H100 GPUを搭載し、世界最強のAIトレーニングシステムと謳われています。
🚀 マスク氏は今後数ヶ月以内にColossusのGPU数を20万枚に倍増する計画で、その中には5万枚の新型H200 GPUが含まれます。
💡 Colossusは、xAI社の主力大規模言語モデルGrok-2の後継製品に強力な計算サポートを提供し、年末までにリリースされる予定です。
