AI調査会社Epoch AIの分析によると、Googleは世界最大のAI計算能力を保有している可能性がある。この優位性は、Googleが独自開発したテンソル処理ユニット（TPU）によるもので、その計算能力は少なくとも60万個のNvidia H100 GPUに相当する。Epoch AIの研究者は、「Googleの巨大なTPU艦隊に加え、同社のNVIDIA GPUを考慮すると、Googleは単独企業として最も多くのAI計算能力を保有している可能性がある」と指摘している。画像注記：画像はAIによって生成されました。

AI調査会社Epoch AIの分析によると、Googleは世界最大のAIコンピューティング能力を保有している可能性がある。このトップの地位は、同社が独自開発したテンソル処理ユニット（TPU）によるもので、その計算能力は少なくとも60万個のNvidia H100GPUに相当する。Epoch AIの研究者らは、Googleの巨大なTPUアレイと使用されているNvidia GPUを考慮すると、Googleは現在、単独の企業としてはAIコンピューティング能力で最強である可能性が高いと指摘している。

イーロン・マスクのxAI社は、「コロッサス」と呼ばれるAIトレーニングシステムを発表しました。10万枚のNvidia H100 GPUを搭載し、世界最強のAIトレーニングシステムと言われています。その性能は、米国エネルギー省のオーロラスーパーコンピューターを上回る可能性さえあります。コロッサスは、言語モデル実行速度が従来のGPUと比べて30倍高速なNvidiaのH100 GPUによって、その圧倒的なパワーを実現しています。特にTrans…

Meta社は最新のAIモデルLlama3.1のトレーニングに16384枚のGPUを使用し、AI技術の驚異的な発展速度を示しました。しかし、この過程で平均3時間ごとに1回の障害が発生し、合計419回の障害が発生しました。その約半分はH100 GPUとそのHBM3メモリに関連しています。このデータは、性能向上を目指す超算システムが直面する信頼性の課題を明らかにしています。Llama3.1トレーニングクラスタの複雑さは、小型都市ニューラルネットワークに匹敵し、障害が頻発しています。Metaチームは、障害を軽減するための戦略（例：〜省略〜）を採用しました。

Metaは、Llama-3のトレーニングに使用される24,000個のH100 GPUを搭載した2つのクラスターを発表しました。Llama-3は、RoCEv2ネットワークとTectonic/HammerspaceのNFS/FUSEネットワークストレージを使用しています。Llama-3は4月末から5月中旬にかけてリリースされる予定で、マルチモーダルモデルになる可能性があり、引き続きオープンソースとして公開される予定です。Metaは、2024年末までに60万個のH100のコンピューティング能力を保有する計画です。