ओपनडिट एक ओपन-सोर्स परियोजना है जो कोलोसल-एआई पर आधारित डिफ्यूजन ट्रांसफॉर्मर (DiT) का एक उच्च-प्रदर्शन कार्यान्वयन प्रदान करती है, जिसे DiT अनुप्रयोगों (जैसे टेक्स्ट-टू-वीडियो जेनरेशन और टेक्स्ट-टू-इमेज जेनरेशन) की प्रशिक्षण और अनुमान दक्षता को बढ़ाने के लिए डिज़ाइन किया गया है। ओपनडिट निम्नलिखित तकनीकों के माध्यम से प्रदर्शन को बेहतर बनाता है: GPU पर 80% तक की गति में वृद्धि और 50% तक मेमोरी में कमी; FlashAttention, Fused AdaLN और Fused layernorm कोर ऑप्टिमाइज़ेशन शामिल हैं; ZeRO, Gemini और DDP के मिश्रित समानांतर तरीके शामिल हैं, साथ ही EMA मॉडल को विभाजित करके मेमोरी लागत को और कम किया जाता है; FastSeq: एक नवीन क्रम समानांतर विधि, जो DiT जैसे वर्कलोड के लिए विशेष रूप से उपयुक्त है, जहाँ सक्रियण आकार बड़ा होता है लेकिन पैरामीटर आकार छोटा होता है; सिंगल-नोड क्रम समानांतर संचार लागत में 48% तक की बचत कर सकता है; एकल GPU की मेमोरी सीमा को पार करके, समग्र प्रशिक्षण और अनुमान समय को कम करता है; कोड में मामूली बदलावों के साथ बड़ा प्रदर्शन सुधार प्राप्त होता है; उपयोगकर्ताओं को वितरित प्रशिक्षण के कार्यान्वयन विवरण को जानने की आवश्यकता नहीं है; टेक्स्ट-टू-इमेज और टेक्स्ट-टू-वीडियो जेनरेशन की पूरी प्रक्रिया; शोधकर्ता और इंजीनियर आसानी से हमारी प्रक्रिया का उपयोग कर सकते हैं और इसे वास्तविक अनुप्रयोगों में समायोजित कर सकते हैं, समानांतर भागों को बदले बिना; ImageNet पर टेक्स्ट-टू-इमेज प्रशिक्षण और चेकपॉइंट जारी करना।