Deepseek ने ओपन सोर्स वीक के दूसरे दिन अपना उत्पाद जारी किया, जो MoE मॉडल के लिए पहला ओपन सोर्स EP संचार लाइब्रेरी है, जो मिश्रित विशेषज्ञ मॉडल प्रशिक्षण और अनुमान के लिए पूर्ण-स्टैक अनुकूलन का समर्थन करता है।
DeepEP एक कुशल संचार लाइब्रेरी है जिसे विशेष रूप से मिश्रित विशेषज्ञ (MoE) और विशेषज्ञ समानांतर (EP) के लिए डिज़ाइन किया गया है। यह उच्च थ्रूपुट और कम विलंबता वाले कई-से-कई GPU कोर प्रदान करने के लिए समर्पित है, जिन्हें आमतौर पर MoE शेड्यूलिंग और संयोजन के रूप में जाना जाता है।
DeepEP न केवल FP8 जैसे कम-परिशुद्धता संचालन का समर्थन करता है, बल्कि DeepSeek-V3 पेपर में प्रस्तावित समूह-सीमित गेटिंग एल्गोरिथम के अनुरूप भी है, जो असममित डोमेन बैंडविड्थ फ़ॉरवर्डिंग कोर को अनुकूलित करता है, जैसे कि डेटा को NVLink डोमेन से RDMA डोमेन में फ़ॉरवर्ड करना। इन कोर में उच्च थ्रूपुट है, जो प्रशिक्षण और पूर्व-भरण अनुमान कार्यों के लिए बहुत उपयुक्त हैं, और स्ट्रीम प्रोसेसर की संख्या को नियंत्रित कर सकते हैं।
विलंबता के प्रति संवेदनशील अनुमान डिकोडिंग कार्यों के लिए, DeepEP में कम-विलंबता कोर का एक समूह भी शामिल है, जो विलंबता को कम करने के लिए शुद्ध RDMA का उपयोग करता है। इसके अलावा, DeepEP एक हुक-आधारित संचार-गणना ओवरलैपिंग विधि भी पेश करता है जो किसी भी स्ट्रीम प्रोसेसर संसाधन का उपयोग नहीं करता है।
प्रदर्शन परीक्षण में, DeepEP ने H800 और CX7 InfiniBand 400Gb/s RDMA नेटवर्क कार्ड पर कई परीक्षण किए। परीक्षणों से पता चला है कि सामान्य कोर इन-नोड और क्रॉस-नोड बैंडविड्थ में उत्कृष्ट प्रदर्शन करते हैं, जबकि कम-विलंबता कोर विलंबता और बैंडविड्थ दोनों में अपेक्षित परिणाम प्राप्त करते हैं। विशेष रूप से, 8 विशेषज्ञों को संसाधित करते समय कम-विलंबता कोर का विलंबता 163 माइक्रोसेकंड और बैंडविड्थ 46GB/s है।
DeepEP का पूरी तरह से परीक्षण किया गया है और मुख्य रूप से InfiniBand नेटवर्क के साथ संगत है, लेकिन सिद्धांत रूप में यह कनवर्ज्ड ईथरनेट (RoCE) पर भी चल सकता है। विभिन्न ट्रैफ़िक प्रकारों के बीच हस्तक्षेप को रोकने के लिए, विभिन्न वर्चुअल चैनलों में ट्रैफ़िक को अलग करने की सिफारिश की जाती है ताकि यह सुनिश्चित हो सके कि सामान्य कोर और कम-विलंबता कोर एक-दूसरे को प्रभावित नहीं करते हैं।
DeepEP एक महत्वपूर्ण उपकरण है जो मिश्रित विशेषज्ञ मॉडल के लिए एक कुशल संचार समाधान प्रदान करता है, जिसमें अनुकूलित प्रदर्शन, कम विलंबता और लचीला कॉन्फ़िगरेशन जैसी उल्लेखनीय विशेषताएँ हैं।
प्रोजेक्ट प्रवेश द्वार:https://x.com/deepseek_ai/status/1894211757604049133
मुख्य बिंदु:
🌟 DeepEP मिश्रित विशेषज्ञ मॉडल के लिए डिज़ाइन किया गया है, जो उच्च थ्रूपुट और कम विलंबता संचार समाधान प्रदान करता है।
⚙️ विभिन्न प्रकार के कम-परिशुद्धता संचालन का समर्थन करता है, और डेटा फ़ॉरवर्डिंग बैंडविड्थ प्रदर्शन को अनुकूलित करता है।
💡 परीक्षण और सत्यापन के बाद, DeepEP InfiniBand नेटवर्क के साथ संगत है, जो विभिन्न ट्रैफ़िक प्रकारों के अलगाव और प्रबंधन के लिए उपयुक्त है।
