आज, घरेलू आर्टिफिशियल इंटेलिजेंस की अग्रणी कंपनी DeepSeek ने अपनी ओपन-सोर्स योजना के चौथे दिन के परिणामों को आधिकारिक तौर पर सार्वजनिक किया - ऑप्टिमाइज्ड पैरेललिज्म स्ट्रेटेजीज़ (ऑप्टिमाइज़्ड समानांतर रणनीतियाँ), जिसमें मुख्य रूप से द्विदिश पाइपलाइन समानांतर एल्गोरिथ्म DualPipe, विशेषज्ञ समानांतर लोड बैलेंसर EPLB, और कंप्यूटिंग-संचार ओवरलैपिंग तंत्र के गहन अनुकूलन को पेश किया गया है। यह तकनीकी उन्नयन बड़े पैमाने पर भाषा मॉडल प्रशिक्षण के मुख्य दर्द बिंदुओं को सीधे संबोधित करता है, और सुपर-10,000 कार्ड क्लस्टर के कुशल संचालन के लिए एक नया समाधान प्रदान करता है।

QQ20250227-102104.png

1. DualPipe: द्विदिश पाइपलाइन समानांतर एल्गोरिथ्म

इस उन्नयन की मुख्य तकनीकों में से एक के रूप में, DualPipe को V3/R1 आर्किटेक्चर के लिए डिज़ाइन किया गया है, जो अभिनव द्विदिश डेटा प्रवाह पाइपलाइन के माध्यम से कंप्यूटिंग और संचार के उच्च ओवरलैपिंग को प्राप्त करता है। पारंपरिक एकतरफा पाइपलाइन की तुलना में, यह तकनीक कंप्यूटिंग थ्रूपुट को काफी बढ़ा सकती है, खासकर सैकड़ों अरबों से लेकर खरबों पैरामीटर के मॉडल प्रशिक्षण के लिए। GitHub कोड रिपॉजिटरी से पता चलता है कि DualPipe बुद्धिमान शेड्यूलिंग तंत्र के माध्यम से, बैकवर्ड प्रचारण चरण में फॉरवर्ड कंप्यूटिंग को समवर्ती रूप से निष्पादित करता है, जिससे हार्डवेयर उपयोग दर में लगभग 30% की वृद्धि होती है।

(प्रोजेक्ट लिंक:https://github.com/deepseek-ai/DualPipe)।

2. EPLB: गतिशील लोड बैलेंसर

मिश्रित विशेषज्ञ (MoE) मॉडल प्रशिक्षण में "हॉट स्पॉट विशेषज्ञ" समस्या के लिए, EPLB तकनीक पहली बार विशेषज्ञ समानांतर गतिशील लोड बैलेंसिंग को प्राप्त करती है। पारंपरिक तरीकों में विशेषज्ञ कार्य असाइनमेंट में असमानता के कारण अक्सर कुछ कंप्यूटिंग कार्ड ओवरलोड हो जाते हैं, जबकि EPLB वास्तविक समय निगरानी और अनुकूली आवंटन के माध्यम से 10,000 से अधिक कार्ड क्लस्टर के समग्र उपयोग दर को 92% से अधिक तक बढ़ाता है, जिससे संसाधन बेकार होने से प्रभावी ढंग से बचा जा सकता है (प्रोजेक्ट लिंक:https://github.com/deepseek-ai/EPLB)।

3. कंप्यूटिंग-संचार ओवरलैपिंग अनुकूलन

V3/R1 आर्किटेक्चर के आधार पर संचार ओवरलैपिंग विश्लेषण उपकरण के साथ, DeepSeek ने पहली बार 3D समानांतर (डेटा/पाइपलाइन/टेंसर समानांतर) स्पेस-टाइम दक्षता मॉडल का निर्माण किया है। ओपन-सोर्स विश्लेषण डेटासेट (लिंक:https://github.com/deepseek-ai/profile-data) के माध्यम से, डेवलपर्स कंप्यूटिंग और संचार के संघर्ष बिंदुओं का सटीक पता लगा सकते हैं, बड़े पैमाने पर मॉडल प्रशिक्षण के लिए ट्यूनिंग बेंचमार्क प्रदान कर सकते हैं, और परीक्षणों से पता चलता है कि यह एंड-टू-एंड प्रशिक्षण समय को लगभग 15% तक कम कर सकता है।

उद्योग का प्रभाव: बड़े मॉडल प्रशिक्षण की बाधाओं को तोड़ना

इस तकनीकी रिलीज़ ने उद्योग में बहुत ध्यान आकर्षित किया है। विशेषज्ञों का कहना है कि DualPipe और EPLB के संयोजन नवाचार ने वर्तमान में बड़े मॉडल प्रशिक्षण की दो प्रमुख चुनौतियों का सीधे जवाब दिया है: पहला, मॉडल के आकार में घातीय वृद्धि के साथ, पारंपरिक समानांतर रणनीतियों की स्केलेबिलिटी की बाधाएँ तेजी से स्पष्ट हो रही हैं; दूसरा, मिश्रित विशेषज्ञ मॉडल के प्रसार ने गतिशील लोड बैलेंसिंग को एक आवश्यक आवश्यकता बना दिया है। एक क्लाउड कंप्यूटिंग निर्माता के तकनीकी प्रमुख ने टिप्पणी की: "ये उपकरण सैकड़ों अरबों पैरामीटर मॉडल प्रशिक्षण के लिए हार्डवेयर थ्रेशोल्ड को काफी कम कर देंगे, और अनुमान है कि प्रशिक्षण लागत में 20%-30% की कमी आएगी।"

DeepSeek के CTO ने तकनीकी दस्तावेज में जोर दिया कि इस बार ओपन-सोर्स की गई रणनीति का परीक्षण उनकी कंपनी के कई सैकड़ों अरबों पैरामीटर मॉडल प्रशिक्षण में किया गया है, और भविष्य में इसे लगातार अपडेट और अनुकूलित किया जाएगा। वर्तमान में, तीनों तकनीकें GitHub पर ओपन-सोर्स हैं, और डेवलपर्स विभिन्न हार्डवेयर वातावरणों में अनुकूलित अनुप्रयोगों का समर्थन करती हैं।

चूँकि वैश्विक AI प्रतियोगिता "स्केल विनिंग" चरण में प्रवेश कर रही है, DeepSeek ने चार लगातार दिनों में प्रमुख तकनीकों को ओपन-सोर्स करके न केवल चीनी AI कंपनियों की तकनीकी ताकत का प्रदर्शन किया है, बल्कि उद्योग के लिए पुन: प्रयोज्य बुनियादी ढाँचे भी प्रदान किए हैं। "ओपन कोऑपरेशन" द्वारा संचालित यह तकनीकी नवाचार बड़े मॉडल प्रशिक्षण के औद्योगिक पारिस्थितिकी तंत्र को फिर से आकार दे सकता है।