रूस के टेक्नोलॉजी दिग्गज Yandex ने हाल ही में वैश्विक AI समुदाय के लिए अपने स्व-विकसित YaFSDP टूल को ओपन-सोर्स किया है, जो वर्तमान में उद्योग में सबसे प्रभावी बड़े भाषा मॉडल (LLM) प्रशिक्षण ऑप्टिमाइजेशन विधि है। उद्योग में व्यापक रूप से उपयोग की जाने वाली FSDP तकनीक की तुलना में, YaFSDP LLM प्रशिक्षण की गति को 26% तक बढ़ा सकता है, जिससे AI डेवलपर्स और कंपनियों के लिए GPU संसाधनों की बड़ी बचत होने की उम्मीद है।
YaFSDP (Yandex Full Sharded Data Parallel) Yandex का FSDP पर आधारित एक उन्नत संस्करण है, जो GPU संचार दक्षता और मेमोरी उपयोग को अनुकूलित करने पर केंद्रित है, और LLM प्रशिक्षण प्रक्रिया में बाधाओं को समाप्त करता है। पूर्व-प्रशिक्षण, संरेखण और माइक्रो-ट्यूनिंग जैसे संचार-गहन कार्यों में, YaFSDP ने उत्कृष्ट प्रदर्शन में सुधार दिखाया है, विशेष रूप से जब प्रशिक्षण पैरामीटर का आकार 30 अरब से 70 अरब के बीच होता है।
चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न, चित्र अधिकार सेवा प्रदाता Midjourney
Yandex के वरिष्ठ विकास विशेषज्ञ और YaFSDP टीम के सदस्य Mikhail Khruschev ने कहा: "YaFSDP LLaMA आर्किटेक्चर पर आधारित व्यापक रूप से उपयोग किए जाने वाले ओपन-सोर्स मॉडलों के लिए सबसे उपयुक्त है। हम अभी भी इसे अनुकूलित कर रहे हैं और विभिन्न मॉडल आर्किटेक्चर और पैरामीटर आकारों पर इसके बहुपरकारीकरण का विस्तार कर रहे हैं, ताकि प्रशिक्षण दक्षता को व्यापक परिदृश्यों में बढ़ाया जा सके।"
अनुमान के अनुसार, 70 अरब पैरामीटर वाले मॉडल को प्रशिक्षण देने के लिए YaFSDP का उपयोग करने से लगभग 150 GPU की संसाधनों की बचत हो सकती है, जो प्रति माह 500,000 से 1,500,000 डॉलर की कंप्यूटिंग लागत की बचत के बराबर है। यह लागत की बचत स्वायत्त LLM प्रशिक्षण को छोटे और मध्यम उद्यमों और व्यक्तिगत डेवलपर्स के लिए अधिक व्यवहार्य बनाने की उम्मीद है।
इस बीच, Yandex ने वैश्विक AI समुदाय के विकास में अपने योगदान को जारी रखने का भी वादा किया है, और YaFSDP का ओपन-सोर्स करना इस वादे को पूरा करने का एक उदाहरण है। पहले, कंपनी ने कई प्रशंसित ओपन-सोर्स AI उपकरण साझा किए हैं, जैसे CatBoost उच्च प्रदर्शन ग्रेडिएंट बूस्टिंग लाइब्रेरी, AQLM एक्सट्रीम मॉडल संकुचन एल्गोरिदम और Petals मॉडल प्रशिक्षण सरलता लाइब्रेरी आदि।
उद्योग के विश्लेषकों का कहना है कि जैसे-जैसे LLM का आकार बढ़ता जा रहा है, प्रशिक्षण दक्षता में वृद्धि कृत्रिम बुद्धिमत्ता के विकास की कुंजी बन जाएगी। YaFSDP जैसी तकनीकी सफलताएँ AI समुदाय को बड़े मॉडल अनुसंधान को तेजी से आगे बढ़ाने में मदद कर सकती हैं, और प्राकृतिक भाषा प्रसंस्करण, कंप्यूटर विज़न आदि क्षेत्रों में इसके अनुप्रयोग की संभावनाओं को उजागर कर सकती हैं।
