मून की डार्क साइड टेक्नोलॉजी कंपनी ने तिंहुआ विश्वविद्यालय के MADSys प्रयोगशाला के साथ मिलकर एक ओपन-सोर्स प्रोजेक्ट लॉन्च किया है जिसका नाम Mooncake है, जिसका उद्देश्य KVCache-केंद्रित बड़े मॉडल इन्फ्रेंस आर्किटेक्चर का सह-निर्माण करना है। जून 2024 में, दोनों ने मिलकर Kimi के आधार पर Mooncake इन्फ्रेंस सिस्टम डिजाइन योजना जारी की, जो PD विभाजन और स्टोरेज-एक्सचेंज आर्किटेक्चर पर आधारित है, जिससे इन्फ्रेंस थ्रूपुट में उल्लेखनीय सुधार हुआ है और इसे उद्योग में व्यापक ध्यान मिला है।
Mooncake प्रोजेक्ट एक पेपर से विकसित हुआ है, जो एक विशाल KVCache कैश पूल के चारों ओर केंद्रित है, जो स्टोरेज-एक्सचेंज के अभिनव विचार के माध्यम से कंप्यूटिंग लागत को कम करता है और इन्फ्रेंस थ्रूपुट को बढ़ाता है। यह प्रोजेक्ट चरणबद्ध ओपन-सोर्स दृष्टिकोण अपनाता है, धीरे-धीरे उच्च प्रदर्शन वाले KVCache मल्टी-लेवल कैश Mooncake Store के कार्यान्वयन को ओपन-सोर्स करता है, और विभिन्न इन्फ्रेंस इंजनों और निचले स्तर के स्टोरेज/ट्रांसफर संसाधनों के लिए संगतता प्रदान करता है। वर्तमान में, ट्रांसफर इंजन का हिस्सा GitHub पर वैश्विक ओपन-सोर्स किया गया है।
मून की डार्क साइड Kimi परियोजना के उपाध्यक्ष Xu Xinran ने कहा कि तिंहुआ विश्वविद्यालय के MADSys प्रयोगशाला के साथ निकट सहयोग के माध्यम से, उन्होंने विभाजित बड़े मॉडल इन्फ्रेंस आर्किटेक्चर Mooncake का सह-निर्माण किया है, जिससे इन्फ्रेंस संसाधनों का अत्यधिक अनुकूलन किया गया है। Mooncake ने न केवल Kimi के उपयोगकर्ता अनुभव को बढ़ाया है और लागत को कम किया है, बल्कि लंबी पाठ और उच्च समवर्ती आवश्यकताओं को संभालने के लिए एक प्रभावी समाधान भी प्रदान किया है। कंपनी का मानना है कि उद्योग-शैक्षणिक अनुसंधान संस्थानों के साथ ओपन-सोर्स सहयोग के माध्यम से, पूरे उद्योग को अधिक कुशल इन्फ्रेंस प्लेटफॉर्म की दिशा में बढ़ावा दिया जा सकता है, और अधिक कंपनियों और अनुसंधान संस्थानों को Mooncake प्रोजेक्ट में शामिल होने के लिए आमंत्रित किया जाता है ताकि हम सभी मिलकर अधिक कुशल और उन्नत मॉडल इन्फ्रेंस सिस्टम आर्किटेक्चर नवाचार की खोज करें, जिससे बड़े मॉडल तकनीक पर आधारित AI सहायक जैसे उत्पादों का लाभ व्यापक जनसंख्या तक पहुंच सके।
प्रोजेक्ट का पता: https://github.com/kvcache-ai/Mooncake
