चाँद के अंधेरे पक्ष प्रौद्योगिकी कंपनी ने Tsinghua विश्वविद्यालय के MADSys प्रयोगशाला के साथ मिलकर एक ओपन-सोर्स प्रोजेक्ट जारी किया है, जिसका नाम Mooncake है, जिसका उद्देश्य KVCache-केंद्रित बड़े मॉडल इन्फरेंस आर्किटेक्चर का सह-संवर्धन करना है। जून 2024 में, दोनों ने Kimi के बेस लेयर्स के लिए Mooncake इन्फरेंस सिस्टम डिज़ाइन योजना जारी की, जो PD विभाजन और स्टोर-स्विच आर्किटेक्चर पर आधारित है, जिसने इन्फरेंस थ्रूपुट को अत्यधिक बढ़ा दिया और उद्योग में व्यापक ध्यान आकर्षित किया।

उच्च गुणवत्ता वाले, समय-संवृत्त वीडियो बनाने के लिए बड़ी मात्रा में कंप्यूटिंग संसाधनों की आवश्यकता होती है, विशेष रूप से लंबे समय की अवधि के लिए। नवीनतम डिफ्यूजन ट्रांसफार्मर मॉडल (DiTs) ने वीडियो जनरेशन में महत्वपूर्ण प्रगति की है, लेकिन इसके बड़े मॉडल और अधिक जटिल ध्यान तंत्र पर निर्भरता के कारण इसकी गणना गति धीमी हो गई है, जिससे यह चुनौती और बढ़ गई है। इस समस्या को हल करने के लिए, Meta AI के शोधकर्ताओं ने वीडियो DiTs को तेज़ करने के लिए बिना प्रशिक्षण के एक विधि पेश की है जिसे AdaCache कहा जाता है।

चाँद के暗面 के तहत Kimi खुला प्लेटफ़ॉर्म ने घोषणा की है कि संदर्भ कैश Cache स्टोरेज लागत में 50% की कमी की गई है। विशेष रूप से: Cache स्टोरेज लागत 10元/1M tokens/min से घटाकर 5元/1M tokens/min कर दी गई है।

Kimi ओपन प्लेटफार्म ने हाल ही में घोषणा की है कि लंबे समय से प्रतीक्षित Context Caching फ़ीचर जल्द ही बीटा परीक्षण के लिए शुरू किया जाएगा। यह नवाचार फ़ीचर लंबे पाठ की बड़े मॉडल का समर्थन करेगा और एक प्रभावी संदर्भ कैशिंग तंत्र के माध्यम से उपयोगकर्ताओं को अभूतपूर्व अनुभव प्रदान करेगा। Kimi ओपन प्लेटफार्म के आधिकारिक स्रोत के अनुसार, Context Caching एक अत्याधुनिक तकनीक है, जिसका लक्ष्य दोहराए गए Tokens सामग्री को कैश करके उपयोगकर्ताओं के एक समान सामग्री अनुरोध के समय में लागत को काफी कम करना है। इसका कार्यप्रणाली स्मार्ट पहचान और स्टोर की गई पाठ की पुनरावृत्ति पर आधारित है।

एंट ग्रुप के तहत CodeFuse कोड बड़े मॉडल ओपन-सोर्स ModelCache बड़े मॉडल सेमांटिक कैश की आर्किटेक्चर में adapter, embedding, similarity और data_manager मॉड्यूल शामिल हैं। ModelCache बड़े मॉडल एप्लीकेशन के इन्फरेंस कॉस्ट को कम कर सकता है, उपयोगकर्ता अनुभव को सुधारता है। कैश में हिट करने पर औसत समय को 10 गुना कम कर दिया जा सकता है, और गति दर 14.5% तक पहुंच सकती है। ModelCache प्रदर्शन और सटीकता को अनुकूलित करना जारी रखेगा, रिकॉल समय को बढ़ाएगा।