हाल ही में, नानजिंग विश्वविद्यालय की शोध टीम ने बाइटजंप और दक्षिण-पश्चिम विश्वविद्यालय के साथ मिलकर एक अभिनव तकनीक - STAR (Spatial-Temporal Augmentation with Text-to-Video Models) लॉन्च की है, जिसका उद्देश्य पाठ से वीडियो मॉडल का उपयोग करके वास्तविक दुनिया के वीडियो की 超分辨率 प्रक्रिया को लागू करना है। यह तकनीक समय-स्थान वृद्धि विधियों को जोड़ती है, जो निम्न रिज़ॉल्यूशन वाले वीडियो की गुणवत्ता को प्रभावी ढंग से बढ़ा सकती है, विशेष रूप से उन वीडियो के लिए जो वीडियो साझा करने वाले प्लेटफार्मों से डाउनलोड की गई निम्न स्पष्टता वाले वीडियो हैं।

ज़िहु एआई कंपनी ने वीडियो निर्माण मॉडल CogVideoX-5B को ओपन-सोर्स किया है, जो वीडियो निर्माण की गुणवत्ता, दृश्य प्रभाव और अनुमानों की प्रदर्शन में महत्वपूर्ण सुधार करता है। नया मॉडल निम्न-विशिष्टता वाले GPU जैसे पुराने GTX1080Ti और डेस्कटॉप RTX3060 के साथ संगत है। यह बड़े पैमाने पर DiT मॉडल पर आधारित टूल, 3D कारणात्मक परिवर्तनशील स्व-कोडर और विशेषज्ञ परिवर्तनकर्ता तकनीकों का उपयोग करते हुए, 3D-RoPE स्थिति कोडिंग और 3D पूर्ण ध्यान तंत्र के माध्यम से कुशलतापूर्वक टेक्स्ट से वीडियो बनाने में सक्षम है। विस्तृत जानकारी और कोड के लिए निर्दिष्ट लिंक पर जाएं।

देशी ओपन-सोर्स वीडियो जनरेशन मॉडल CogVideoX-5B आधिकारिक रूप से MoDou ModelScope समुदाय में ओपन-सोर्स किया गया है, जिसने वीडियो जनरेशन की गुणवत्ता और दृश्य प्रभाव को महत्वपूर्ण रूप से बढ़ा दिया है। बड़े पैमाने पर DiT मॉडल पर आधारित, यह मॉडल 3D कारणात्मक वैरिएशनल ऑटोएन्कोडर, एक्सपर्ट ट्रांसफार्मर तकनीक का उपयोग करता है, और 3D-RoPE स्थान कोडिंग और 3D पूर्ण ध्यान तंत्र के माध्यम से समय-स्थान संयुक्त मॉडलिंग को लागू करता है। प्रगतिशील प्रशिक्षण तकनीक का उपयोग करते हुए, मॉडल को स्पष्ट गति विशेषताओं, लगातार और उच्च गुणवत्ता वाले लंबे समय तक वीडियो उत्पन्न करने में सक्षम बनाता है।