月影の暗面科技有限公司と清華大学MADSys研究所は、KVCacheを中核とした大規模モデル推論アーキテクチャMooncakeというオープンソースプロジェクトを共同で発表しました。2024年6月には、両者はKimi基盤のMooncake推論システム設計案を発表しており、PD分離とメモリ計算交換アーキテクチャに基づき、推論スループットの大幅な向上を実現し、業界から広く注目を集めています。

高品質で時間的に連続した動画の生成には、特に長い時間範囲を扱う場合、膨大な計算資源が必要です。最新の拡散Transformerモデル（DiTs）は動画生成において著しい進歩を遂げましたが、より大規模なモデルと複雑なアテンション機構に依存しているため、推論速度が遅く、この課題を悪化させています。この問題を解決するため、Meta AIの研究者らは、動画DiTsを高速化するAdaCacheという訓練不要な手法を提案しました。

アリババグループ傘下のCodeFuseコード大規模モデルオープンソースModelCache大規模モデル意味キャッシュ。ModelCacheアーキテクチャは、adapter、embedding、similarity、data_managerモジュールを含みます。ModelCacheは、大規模モデルアプリケーションの推論コストを削減し、ユーザーエクスペリエンスを向上させます。キャッシュヒットにより、平均処理時間を10倍削減し、速度を最大14.5%向上させることができます。ModelCacheは、パフォーマンスと精度を継続的に最適化し、検索時間を向上させ続けます。