ल्यूमियर एक टेक्स्ट-टू-वीडियो डिफ्यूज़न मॉडल है जिसका उद्देश्य वास्तविक, विविध और सुसंगत गति को दर्शाने वाले वीडियो को संश्लेषित करना है, और वीडियो संश्लेषण में आने वाली प्रमुख चुनौतियों का समाधान करना है। हमने एक स्पेस-टाइम U-Net आर्किटेक्चर प्रस्तुत किया है जो एक ही बार में पूरे वीडियो की समय अवधि उत्पन्न कर सकता है, मॉडल के एकल पास के माध्यम से। यह मौजूदा वीडियो मॉडल के विपरीत है जो दूर-दूर के प्रमुख फ्रेम को संश्लेषित करते हैं और फिर समय-अनुसार सुपर-रेज़ोल्यूशन प्रसंस्करण करते हैं, यह तरीका अनिवार्य रूप से वैश्विक समय संगति को प्राप्त करना कठिन बना देता है। स्थानिक और (महत्वपूर्ण रूप से) समय के डाउनसैंप्लिंग और अपसैंप्लिंग को तैनात करके और पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज डिफ्यूज़न मॉडल का उपयोग करके, हमारा मॉडल सीधे कई स्पेस-टाइम पैमानों पर पूर्ण-फ़्रेम-रेट, कम-रिज़ॉल्यूशन वीडियो उत्पन्न करना सीखता है। हमने अत्याधुनिक टेक्स्ट-टू-वीडियो जनरेशन परिणाम दिखाए हैं, और दिखाया है कि हमारे डिज़ाइन ने आसानी से विभिन्न प्रकार के कंटेंट निर्माण कार्यों और वीडियो संपादन अनुप्रयोगों को बढ़ावा दिया है, जिसमें छवि-से-वीडियो, वीडियो मरम्मत और स्टाइलिस्टिक जनरेशन शामिल हैं।