大規模言語モデル（LLM）開発競争が激化する中、多くのAI企業が新たな課題に直面しており、「Transformer」以外の代替アーキテクチャへの注目が集まっています。2017年にGoogleの研究者によって提案されたTransformerアーキテクチャは、現在の生成AIの基礎となっていますが、MIT発のスタートアップ企業であるLiquid AIは、この課題に対処するため、「STAR（Synthesis of Tailored Architectures）」という革新的なフレームワークを発表しました。
STARフレームワークは、進化アルゴリズムと数値符号化システムを利用して、AIモデルアーキテクチャの自動生成と最適化を目指しています。Liquid AIの研究チームによると、STARは従来のアーキテクチャ設計とは異なり、「STARゲノム」と呼ばれる階層的符号化技術を採用することで、潜在的なアーキテクチャの広範な設計空間を探求します。ゲノムの組み合わせと変異を通じて、STARは特定の性能とハードウェア要件を満たすアーキテクチャを合成・最適化できます。
自己回帰言語モデリングのテストでは、STARは従来の最適化されたTransformer++や混合モデルを上回る能力を示しました。最適化された品質とキャッシュサイズに関して、STARによって進化したアーキテクチャは、混合モデルと比較して最大37％、従来のTransformerと比較して最大90％のキャッシュサイズ削減を実現しました。この効率性はモデルの予測性能を犠牲にするどころか、場合によっては競合他社を凌駕しています。
研究によると、STARのアーキテクチャは拡張性に優れており、1.25億パラメータから10億パラメータに拡張されたSTAR進化モデルは、標準ベンチマークテストにおいて既存のTransformer++や混合モデルと同等かそれ以上の性能を示し、同時に推論キャッシュの需要を大幅に削減しました。
Liquid AIは、STARの設計理念に動的システム、信号処理、数値線形代数の原理を取り入れ、柔軟な計算ユニットの探索空間を構築したと述べています。STARの大きな特徴はモジュール式設計であり、複数のレベルでアーキテクチャを符号化・最適化できるため、研究者は効果的なアーキテクチャコンポーネントの組み合わせに関する洞察を得ることができます。
Liquid AIは、STARの高効率なアーキテクチャ合成能力が、特に品質と計算効率のバランスが必要な様々な分野で応用されると考えています。Liquid AIはまだ具体的な商業展開や価格設定計画を発表していませんが、その研究成果は自動化されたアーキテクチャ設計分野における大きな進歩を示しています。AI分野の進化に伴い、STARのようなフレームワークは、次世代のインテリジェントシステムの形成に重要な役割を果たす可能性があります。
公式ブログ:https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution
要点：
🌟 Liquid AIが発表したSTARフレームワークは、進化アルゴリズムを用いてAIモデルアーキテクチャを自動生成・最適化します。
📉 STARモデルはキャッシュサイズを最大90％削減し、従来のTransformerを上回る性能を示しました。
🔍 STARのモジュール式設計は様々な分野に応用でき、AIシステム最適化の更なる発展を促進します。
