एंट ग्रुप के तहत CodeFuse कोड बड़े मॉडल ओपन-सोर्स ModelCache बड़े मॉडल सेमांटिक कैश की आर्किटेक्चर में adapter, embedding, similarity और data_manager मॉड्यूल शामिल हैं। ModelCache बड़े मॉडल एप्लीकेशन के इन्फरेंस कॉस्ट को कम कर सकता है, उपयोगकर्ता अनुभव को सुधारता है। कैश में हिट करने पर औसत समय को 10 गुना कम कर दिया जा सकता है, और गति दर 14.5% तक पहुंच सकती है। ModelCache प्रदर्शन और सटीकता को अनुकूलित करना जारी रखेगा, रिकॉल समय को बढ़ाएगा।