La société Yue Zhi An Mian et le laboratoire MADSys de l'Université Tsinghua ont conjointement publié Mooncake, un projet open-source visant à construire une architecture d'inférence de modèle de grande échelle centrée sur KVCache. En juin 2024, les deux parties avaient déjà publié conjointement la conception du système d'inférence Mooncake pour Kimi, une solution basée sur la séparation PD et une architecture de calcul de stockage qui améliore considérablement le débit d'inférence et a suscité un vif intérêt de l'industrie.

À l'ère du développement rapide de l'intelligence artificielle, le niveau d'intelligence des grands modèles ne cesse de s'améliorer, mais les défis liés à l'efficacité des systèmes d'inférence deviennent de plus en plus importants. Faire face à des charges d'inférence élevées, réduire les coûts d'inférence et raccourcir les temps de réponse sont devenus des problèmes importants auxquels l'industrie est confrontée. Kimi, en collaboration avec le laboratoire MADSys de l'Université Tsinghua, a lancé Mooncake, une solution de conception de système d'inférence basée sur KVCache, officiellement publiée en juin 2024. Le système d'inférence Mooncake permet de...