月影の暗面科技有限公司と清華大学MADSys研究所は、KVCacheを中核とした大規模モデル推論アーキテクチャMooncakeというオープンソースプロジェクトを共同で発表しました。2024年6月には、両者はKimi基盤のMooncake推論システム設計案を発表しており、PD分離とメモリ計算交換アーキテクチャに基づき、推論スループットの大幅な向上を実現し、業界から広く注目を集めています。

人工知能の急速な発展に伴い、大規模モデルの知能化レベルは向上していますが、それに伴い推論システムの効率性の課題もますます顕著になっています。高い推論負荷への対応、推論コストの削減、応答時間の短縮は、業界が直面する重要な課題となっています。Kimi社と清華大学のMADSys研究室は、KVCacheをベースとしたMooncake推論システム設計案を発表し、2024年6月に正式リリースしました。Mooncake推論システムは、…