चाँद के अंधेरे पक्ष प्रौद्योगिकी कंपनी ने Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ मिलकर एक ओपन-सोर्स प्रोजेक्ट जारी किया है, जिसका नाम Mooncake है, जिसका उद्देश्य KVCache-केंद्रित बड़े मॉडल इन्फरेंस आर्किटेक्चर का सह-संवर्धन करना है। जून 2024 में, दोनों ने Kimi के बेस लेयर्स के लिए Mooncake इन्फरेंस सिस्टम डिज़ाइन योजना जारी की, जो PD विभाजन और स्टोर-स्विच आर्किटेक्चर पर आधारित है, जिसने इन्फरेंस थ्रूपुट को अत्यधिक बढ़ा दिया और उद्योग में व्यापक ध्यान आकर्षित किया।

कृत्रिम बुद्धिमत्ता के तेजी से विकास के युग में, बड़े मॉडल की बुद्धिमत्ता स्तर लगातार बढ़ रही है, लेकिन इसके साथ आने वाली इनफरेंस सिस्टम दक्षता की चुनौतियाँ भी越来越 स्पष्ट हो रही हैं। उच्च इनफरेंस बोझ का सामना कैसे करें, लागत को कम करें और प्रतिक्रिया समय को कम करें, यह उद्योग के सामने महत्वपूर्ण मुद्दों में से एक बन गया है। Kimi कंपनी ने Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ मिलकर KVCache पर आधारित Mooncake इनफरेंस सिस्टम डिज़ाइन योजना पेश की, जो 2024 के जून में आधिकारिक रूप से लॉन्च की जाएगी। Mooncake इनफरेंस सिस्टम के माध्यम से...