世界中でデジタル化の波が押し寄せる中、人工知能は魅力的でありながら、手なずけるのが難しい野獣のような存在です。大規模な技術チームを持たない中小企業にとって、この野獣は非常に恐ろしいものとなるでしょう。これがCakeが生まれた理由です。ニューヨークに拠点を置くこのスタートアップ企業は、画期的なプラットフォームを用いて、中小企業がAIの力を容易に活用できるように支援しています。最近、1300万ドルの資金調達を実施しました（そのうち1000万ドルはGoogle Gradient Venturesが主導するシードラウンド）。

月影の暗面科技有限公司と清華大学MADSys研究所は、KVCacheを中核とした大規模モデル推論アーキテクチャMooncakeというオープンソースプロジェクトを共同で発表しました。2024年6月には、両者はKimi基盤のMooncake推論システム設計案を発表しており、PD分離とメモリ計算交換アーキテクチャに基づき、推論スループットの大幅な向上を実現し、業界から広く注目を集めています。

人工知能の急速な発展に伴い、大規模モデルの知能化レベルは向上していますが、それに伴い推論システムの効率性の課題もますます顕著になっています。高い推論負荷への対応、推論コストの削減、応答時間の短縮は、業界が直面する重要な課題となっています。Kimi社と清華大学のMADSys研究室は、KVCacheをベースとしたMooncake推論システム設計案を発表し、2024年6月に正式リリースしました。Mooncake推論システムは、…