Mooncake是Kimi的服务平台，由Moonshot AI提供，是一个领先的大型语言模型(LLM)服务。它采用了以KVCache为中心的解耦架构，通过分离预填充(prefill)和解码(decoding)集群，以及利用GPU集群中未充分利用的CPU、DRAM和SSD资源来实现KVCache的解耦缓存。Mooncake的核心是其KVCache中心调度器，它在确保满足延迟相关的服务级别目标(SLOs)要求的同时，平衡最大化整体有效吞吐量。与传统研究不同，Mooncake面对的是高度过载的场景，为此开发了基于预测的早期拒绝策略。实验表明，Mooncake在长上下文场景中表现出色，与基线方法相比，在某些模拟场景中吞吐量可提高525%，同时遵守SLOs。在实际工作负载下，Mooncake的创新架构使Kimi能够处理75%以上的请求。