कृत्रिम बुद्धिमत्ता के तेजी से विकास के युग में, बड़े मॉडल की बुद्धिमत्ता स्तर लगातार बढ़ रहा है, लेकिन इसके साथ आने वाली अनुमान प्रणाली की दक्षता चुनौतियाँ भी越来越明显 हैं। उच्च अनुमान लोड का सामना कैसे करें, अनुमान लागत को कम करें, और प्रतिक्रिया समय को संक्षिप्त करें, यह उद्योग में एक महत्वपूर्ण मुद्दा बन गया है।
Kimi कंपनी ने Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ मिलकर KVCache आधारित Mooncake अनुमान प्रणाली डिजाइन方案 पेश किया, जो 2024 के जून में आधिकारिक रूप से जारी किया जाएगा।
Mooncake अनुमान प्रणाली ने नवाचार PD विभाजन आर्किटेक्चर और स्टोर-स्विचिंग केंद्रित सिद्धांत के माध्यम से अनुमान की थ्रूपुट क्षमता में महत्वपूर्ण सुधार किया है, जिसने उद्योग का व्यापक ध्यान आकर्षित किया है। इस तकनीकी ढांचे के अनुप्रयोग और प्रसार को आगे बढ़ाने के लिए, Kimi ने Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ 9#AISoft, अली क्लाउड, हुआवेई स्टोरेज जैसी कई कंपनियों के साथ मिलकर ओपन-सोर्स प्रोजेक्ट Mooncake लॉन्च किया। 28 नवंबर को, Mooncake का तकनीकी ढांचा GitHub प्लेटफार्म पर आधिकारिक रूप से ऑनलाइन हो गया।
Mooncake ओपन-सोर्स प्रोजेक्ट अत्यधिक बड़े KVCache कैश पूल के चारों ओर केंद्रित है, जो चरणबद्ध तरीके से उच्च प्रदर्शन KVCache मल्टी-लेयर कैश Mooncake Store को ओपन-सोर्स करने के लिए प्रतिबद्ध है। साथ ही, यह प्रोजेक्ट विभिन्न अनुमान इंजन और बुनियादी भंडारण, ट्रांसमिशन संसाधनों के साथ संगत होगा।
वर्तमान में, ट्रांसफर इंजन का एक भाग GitHub पर वैश्विक ओपन-सोर्स हो चुका है। Mooncake प्रोजेक्ट का अंतिम लक्ष्य बड़े मॉडल युग के लिए एक नई उच्च प्रदर्शन मेमोरी सेमांटिक स्टोरेज मानक इंटरफेस का निर्माण करना और संबंधित संदर्भ कार्यान्वयन योजना प्रदान करना है।
Kimi कंपनी के इंजीनियरिंग उपाध्यक्ष Xu Xinran ने कहा: “Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ निकट सहयोग के माध्यम से, हमने एक विभाजित बड़े मॉडल अनुमान आर्किटेक्चर Mooncake का निर्माण किया है, जिसने अनुमान संसाधनों के अत्यधिक अनुकूलन को प्राप्त किया है।
Mooncake ने न केवल उपयोगकर्ता अनुभव को बढ़ाया है, बल्कि लागत को भी कम किया है, लंबे पाठ और उच्च समवर्ती आवश्यकताओं को संभालने के लिए एक प्रभावी समाधान प्रदान किया है।” वह अधिक कंपनियों और शोध संस्थानों को Mooncake प्रोजेक्ट में शामिल होने की उम्मीद करते हैं, ताकि हम एक साथ अधिक कुशल मॉडल अनुमान प्रणाली आर्किटेक्चर की खोज कर सकें, जिससे AI सहायक जैसे बड़े मॉडल तकनीक पर आधारित उत्पादों का लाभ और अधिक व्यापक जनसंख्या तक पहुंच सके।
प्रोजेक्ट लिंक:https://github.com/kvcache-ai/Mooncake
महत्वपूर्ण बिंदु:
🌟 Kimi और Tsinghua विश्वविद्यालय ने Mooncake अनुमान प्रणाली जारी की, AI अनुमान दक्षता को बढ़ाया।
🔧 Mooncake प्रोजेक्ट GitHub पर ओपन-सोर्स हो चुका है, जिसका उद्देश्य उच्च प्रदर्शन मेमोरी सेमांटिक स्टोरेज मानक इंटरफेस का निर्माण करना है।
🤝 अधिक कंपनियों और शोध संस्थानों के भाग लेने की उम्मीद है, AI तकनीक की प्रगति को एक साथ बढ़ावा देने के लिए।
