A Dark Side of the Moon Technology Co., Ltd. e o laboratório MADSys da Universidade Tsinghua lançaram em conjunto um projeto de código aberto chamado Mooncake, com o objetivo de construir em colaboração uma arquitetura de inferência de modelos grandes centrada no KVCache. Em junho de 2024, as duas partes lançaram em conjunto o projeto de design do sistema de inferência Mooncake para a camada inferior do Kimi, que é baseado na separação de PD e na arquitetura de computação por armazenamento, melhorando significativamente a taxa de transferência de inferência e recebendo ampla atenção da indústria.

Na era do rápido desenvolvimento da inteligência artificial, o nível de inteligência dos grandes modelos está continuamente melhorando, mas os desafios de eficiência do sistema de inferência também estão se tornando cada vez mais evidentes. Como lidar com altas cargas de inferência, reduzir os custos de inferência e reduzir o tempo de resposta tornou-se um problema importante enfrentado pela indústria. A empresa Kimi, em conjunto com o laboratório MADSys da Universidade Tsinghua, lançou um esquema de design de sistema de inferência Mooncake baseado em KVCache, que foi oficialmente lançado em junho de 2024. O sistema de inferência Mooncake por meio de criações