मोशन-I2V

मोशन-I2V एक नया ढाँचा है जो सुसंगत और नियंत्रणीय छवि-से-वीडियो निर्माण (I2V) को प्राप्त करने के लिए डिज़ाइन किया गया है। पारंपरिक जटिल छवि-से-वीडियो मैपिंग सीखने के तरीकों के विपरीत, मोशन-I2V I2V को दो चरणों में विभाजित करता है और स्पष्ट गति मॉडलिंग का उपयोग करता है। पहले चरण में, हमने डिफ्यूजन-आधारित गति क्षेत्र भविष्यवक्ता प्रस्तुत किया है जो संदर्भ छवि पिक्सल की प्रक्षेपवक्र की भविष्यवाणी करने पर केंद्रित है। दूसरे चरण में, हमने वीडियो निहित डिफ्यूजन मॉडल में सीमित एक-आयामी समय ध्यान को बढ़ाने के लिए गति-वर्धित समय ध्यान प्रस्तुत किया है। यह मॉड्यूल पहले चरण में भविष्यवाणी की गई प्रक्षेपवक्र के मार्गदर्शन में संश्लेषित फ़्रेम में संदर्भ छवि विशेषताओं को प्रभावी ढंग से प्रसारित कर सकता है। मौजूदा विधियों की तुलना में, मोशन-I2V बड़ी गति और दृष्टिकोण परिवर्तनों की उपस्थिति में भी अधिक सुसंगत वीडियो उत्पन्न कर सकता है। पहले चरण के लिए विरल प्रक्षेपवक्र नियंत्रण नेटवर्क को प्रशिक्षित करके, मोशन-I2V उपयोगकर्ताओं को गति प्रक्षेपवक्र और गति क्षेत्रों को सटीक रूप से नियंत्रित करने की अनुमति देता है, जिसमें विरल प्रक्षेपवक्र और क्षेत्र एनोटेशन नियंत्रण क्षमताएँ हैं। यह केवल पाठ विवरण पर निर्भर रहने से अधिक नियंत्रणीय है। इसके अतिरिक्त, मोशन-I2V का दूसरा चरण स्वाभाविक रूप से शून्य-शॉट वीडियो-से-वीडियो रूपांतरण का समर्थन करता है। गुणात्मक और मात्रात्मक तुलना से पता चलता है कि मोशन-I2V सुसंगत और नियंत्रणीय छवि-से-वीडियो निर्माण में पिछली विधियों से बेहतर प्रदर्शन करता है।