月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。

生成高质量、时间连续的视频需要大量的计算资源，尤其是对于较长的时间跨度而言。最新的扩散Transformer 模型（DiTs）虽然在视频生成方面取得了显著进展，但由于其依赖于更大的模型和更复杂的注意力机制，导致推理速度较慢，反而加剧了这一挑战。为了解决这个问题，Meta AI 的研究人员提出了一种名为 AdaCache 的免训练方法来加速视频 DiTs。AdaCache 的核心思想是基于“并非所有视频都相同”这一事实，这意味着某些视频比其他视频需要更少的去噪步骤即可达到合理的质量。 基于此，该方

月之暗面旗下Kimi 开放平台宣布，上下文缓存 Cache 存储费用降价50%。具体为:Cache 存储费用由10元/1M tokens/min，降低至5元/1M tokens/min。

["蚂蚁集团旗下CodeFuse代码大模型开源ModelCache大模型语义缓存","ModelCache架构包括adapter、embedding、similarity和data_manager模块","ModelCache可降低大型模型应用的推理成本，提升用户体验","命中缓存可将平均耗时降低10倍，提速率可达14.5%","ModelCache将继续优化性能和精度，提升召回时间和准确率"]