YaFSDP
बड़े भाषा मॉडल के लिए डिज़ाइन किया गया एक कुशल वितरित डेटा समानांतर फ्रेमवर्क।
सामान्य उत्पादप्रोग्रामिंगवितरित कंप्यूटिंगडेटा समानांतर
YaFSDP एक वितरित डेटा समानांतर फ्रेमवर्क है, जिसे ट्रांसफ़ॉर्मर-प्रकार के न्यूरल नेटवर्क संरचनाओं के साथ अच्छी तरह से सहयोग करने के लिए डिज़ाइन किया गया है। यह बड़े भाषा मॉडल (Large Language Models, LLMs) के पूर्व-प्रशिक्षण में पारंपरिक FSDP की तुलना में 20% तेज़ है, और उच्च मेमोरी दबाव की स्थिति में बेहतर प्रदर्शन करता है। YaFSDP का उद्देश्य संचार और मेमोरी ऑपरेशन के ओवरहेड को कम करना है।
YaFSDP नवीनतम ट्रैफ़िक स्थिति
मासिक कुल विज़िट
474564576
बाउंस दर
36.20%
प्रति विज़िट औसत पृष्ठ
6.1
औसत विज़िट अवधि
00:06:34
