Das Unternehmen Yue Zhi Anmian Keji und das MADSys-Labor der Tsinghua-Universität haben gemeinsam ein Open-Source-Projekt namens Mooncake veröffentlicht, das auf den Aufbau einer auf KVCache basierenden Inferenzarchitektur für große Sprachmodelle abzielt. Im Juni 2024 veröffentlichten beide Seiten gemeinsam den Entwurf des Mooncake-Inferenzsystems für die Kimi-Grundlage. Dieses Design basiert auf der Trennung von Parameter- und Datenverarbeitung und einer Speicher-Rechen-Architektur, wodurch der Durchsatz der Inferenz deutlich verbessert wird und es in der Branche große Aufmerksamkeit erlangte.

Im Zeitalter des rasanten Fortschritts in der Künstlichen Intelligenz steigt das Intelligenzlevel großer Modelle stetig an, doch gleichzeitig werden die Herausforderungen hinsichtlich der Effizienz von Inferenzsystemen immer größer. Die Bewältigung hoher Inferenzlasten, die Senkung der Inferenzkosten und die Verkürzung der Antwortzeiten stellen die Branche vor große Herausforderungen. Kimi in Zusammenarbeit mit dem MADSys-Labor der Tsinghua-Universität hat Mooncake vorgestellt, ein auf KVCache basierendes Design für Inferenzsysteme, das im Juni 2024 offiziell veröffentlicht wurde. Das Mooncake-Inferenzsystem...