La empresa tecnológica Yue Zhi Anmian y el laboratorio MADSys de la Universidad Tsinghua han lanzado conjuntamente un proyecto de código abierto llamado Mooncake, cuyo objetivo es construir una arquitectura de inferencia de modelos grandes centrada en KVCache. En junio de 2024, ambas partes lanzaron conjuntamente el diseño del sistema de inferencia Mooncake subyacente a Kimi, un diseño basado en la separación PD y en la arquitectura de cálculo de almacenamiento, que mejoró significativamente el rendimiento de la inferencia y atrajo una gran atención de la industria.

En la era del rápido desarrollo de la inteligencia artificial, el nivel de inteligencia de los modelos grandes está mejorando constantemente, pero también surgen desafíos cada vez más evidentes en la eficiencia de los sistemas de inferencia. Cómo hacer frente a las altas cargas de inferencia, reducir los costos de inferencia y acortar los tiempos de respuesta se ha convertido en un problema importante al que se enfrenta la industria. Kimi, en colaboración con el laboratorio MADSys de la Universidad Tsinghua, ha lanzado Mooncake, un diseño de sistema de inferencia basado en KVCache, que se publicó oficialmente en junio de 2024. El sistema de inferencia Mooncake a través de...