日進月歩の人工知能開発において、Etched社はTransformerと呼ばれるAIアーキテクチャに全てを賭けています。同社は最近、Transformer専用に設計された世界初の専用集積回路（ASIC）チップ「Sohu」を発表し、その性能は現在市場に出回っているどのGPUも凌駕し、AI分野に革命的な変化をもたらすと主張しています。

image.png

TransformerアーキテクチャがAI分野を席巻

Etched社は2022年、大胆な予測を行いました。TransformerアーキテクチャがAIの世界を支配するというものです。その判断は正しかったことが証明されています。現在、ChatGPTからSora、GeminiからStable Diffusion3まで、最先端のAIモデルは全てTransformerアーキテクチャを採用しています。この判断に基づき、Etched社は2年間かけてSohuチップを開発しました。

SohuチップはTransformerアーキテクチャをハードウェアに直接焼き込むことで、かつてない性能向上を実現しました。これは、Instagram広告の裏にあるDLRM、タンパク質折り畳みモデルAlphaFold2、初期の画像モデルStable Diffusion2など、従来のAIモデルの多くを実行できないことを意味しますが、Transformerモデルに関しては、Sohuは他のどのチップよりも高速です。

顕著な性能優位性

Etched社によると、8個のSohuチップを搭載したサーバーは、Llama70Bモデルを実行する際、毎秒50万個を超えるトークンを処理できる驚異的な速度を実現します。この性能は、NVIDIAが間もなく発売する次世代Blackwell（B200）GPUよりも桁違いに高速でありながら、コストは低くなっています。

具体的には、8xSohuサーバーは160個のH100 GPUに取って代わる事ができます。これは、Sohuチップを使用することで、AIモデルの運用コストを大幅に削減し、処理速度を大幅に向上できることを意味します。

賭けの裏にある論理

Etched社がTransformerアーキテクチャにこれほどまでに固執しているのは、AIの発展傾向に対する深い洞察に基づいています。同社は、超人的な知能を実現するための鍵は規模にあると考えています。過去5年間で、AIモデルはほとんどの標準化テストにおいて人間を凌駕しており、これは主に計算能力の大幅な向上によるものです。例えば、Meta社がLlama400Bモデルのトレーニングに使用した計算資源は、OpenAIがGPT-2のトレーニングに使用した資源の5万倍でした。

しかし、規模を拡大し続けるには大きな課題があります。次世代データセンターのコストは、小国のGDPを上回る可能性があります。現在の発展速度では、私たちのハードウェア、電力網、財力では追いつくことができません。これがSohuチップのチャンスなのです。

image.png

専用チップの必然性

Etched社は、ムーアの法則の減速に伴い、性能を向上させる唯一の方法は専門化であると考えています。TransformerアーキテクチャがAI分野を席巻する前は、多くの企業が様々なアーキテクチャに対応するために、柔軟なAIチップとGPUを開発していました。しかし現在、Transformer推論に対する市場の需要が約5000万ドルから数十億ドルに急増し、AIモデルアーキテクチャの収束が進んでいるため、専用チップの登場は必然となっています。

モデルのトレーニングコストが10億ドル、推論コストが100億ドルを超える場合、性能が1％向上するだけでも、5000万ドルから1億ドルの特注チッププロジェクトの価値を証明するのに十分です。実際、ASICの性能優位性はそれ以上です。

Sohuチップの動作原理

Sohuチップがこれほど高い性能を実現できるのは、Transformerアーキテクチャ向けに最適化されているためです。制御フローロジックの大部分を削除することで、Sohuはより多くの数学演算ユニットを搭載できます。これにより、SohuのFLOPS利用率は90％を超え、GPUでTRT-LLMを実行した場合の利用率は約30％に過ぎません。

Etched社は、GPUの大部分の面積がプログラマビリティの確保に使用されているため、Transformerに特化した設計により、精度を落とすことなく、またはスパース性技術を使用することなく、より多くの計算ユニットを搭載できると説明しています。実際、H100 GPUの800億個のトランジスタのうち、行列乗算に使用されているのはわずか3.3％です。SohuはTransformerに特化することで、チップ上により多くのFLOPSを搭載できます。

ソフトウェアエコシステム

Sohuチップはハードウェア面で大きな進歩を遂げましたが、ソフトウェアエコシステムも同様に重要です。GPUやTPUと比較して、Sohuのソフトウェア開発は、Transformerアーキテクチャのみをサポートする必要があるため、比較的簡単です。Etched社は、ドライバーからカーネル、サービススタックに至るまで、すべてのソフトウェアをオープンソース化すると約束しており、これは開発者がSohuチップを使用および最適化する上で非常に役立ちます。

将来展望

Etched社の賭けが成功すれば、SohuチップはAI業界の状況を一変させるでしょう。現在、多くのAIアプリケーションは性能のボトルネックに直面しています。例えば、Geminiはビデオに関する質問に答えるのに60秒以上かかり、コーディングエージェントのコストはソフトウェアエンジニアよりも高く、タスクを完了するのに数時間かかります。ビデオモデルは毎秒1フレームしか生成できません。

Sohuチップは、AIモデルの速度を20倍に向上させ、同時にコストを大幅に削減すると期待されています。これは、リアルタイムビデオ生成、通話、インテリジェントエージェント、検索などのアプリケーションが可能になることを意味します。Etched社は、Sohu開発者クラウドサービスの早期ユーザーの申請を受け付けており、積極的に人材を募集しています。

AI計算能力のブレークスルーは、大きな影響をもたらす可能性があります。Etched社のSohuチップは、間違いなく注目に値します。より詳細な情報が公開され、実際のアプリケーションが展開されるにつれて、この技術の可能性とそのAI分野への影響をより適切に評価できるようになるでしょう。