हाल के वर्षों में, छवि पुनः प्रकाशन तकनीक में प्रगति बड़े पैमाने पर डेटा सेट और पूर्व-प्रशिक्षित प्रसार मॉडल के कारण हुई है, जिससे स्थिर प्रकाशन के अनुप्रयोग अधिक सामान्य हो गए हैं। हालाँकि, वीडियो पुनः प्रकाशन के क्षेत्र में, उच्च प्रशिक्षण लागत और विविधता और उच्च गुणवत्ता वाले वीडियो पुनः प्रकाशन डेटा सेट की कमी के कारण प्रगति अपेक्षाकृत धीमी रही है।
सिर्फ छवि पुनः प्रकाशन मॉडल को प्रति फ्रेम वीडियो पर लागू करने से कई समस्याएँ उत्पन्न होती हैं, जैसे प्रकाश स्रोत में असंगति और पुनः प्रकाशन उपस्थिति में असंगति, जो अंततः उत्पन्न वीडियो में झिलमिलाहट का कारण बनती है।
इस समस्या को हल करने के लिए, शोध टीम ने Light-A-Video पेश किया, जो एक ऐसा तरीका है जो बिना प्रशिक्षण के समय में चिकनी वीडियो पुनः प्रकाशन को सक्षम बनाता है। Light-A-Video ने छवि पुनः प्रकाशन मॉडल से प्रेरणा ली और प्रकाशन स्थिरता को बढ़ाने के लिए दो प्रमुख मॉड्यूल पेश किए।
पहले, शोधकर्ताओं ने एक स्थिर प्रकाश ध्यान (Consistent Light Attention, CLA) मॉड्यूल डिज़ाइन किया, जो पृष्ठभूमि प्रकाश स्रोत के उत्पादन को स्थिर करने के लिए स्व-ध्यान परत के भीतर क्रॉस-फ्रेम इंटरैक्शन को बढ़ाता है।
दूसरे, प्रकाश संचरण स्वतंत्रता के भौतिक सिद्धांत के आधार पर, शोध टीम ने स्रोत वीडियो की उपस्थिति को पुनः प्रकाशन उपस्थिति के साथ मिश्रित करने के लिए रैखिक विलय रणनीति का उपयोग किया, प्रगतिशील प्रकाश विलय (Progressive Light Fusion, PLF) रणनीति अपनाई, ताकि समय में प्रकाश का चिकना संक्रमण सुनिश्चित हो सके।
प्रयोगों में, Light-A-Video ने पुनः प्रकाशन वीडियो की समय स्थिरता में महत्वपूर्ण सुधार प्रदर्शित किया, जबकि छवि गुणवत्ता को बनाए रखा, और फ्रेमों के बीच प्रकाश संक्रमण की स्थिरता सुनिश्चित की। ढांचे में स्रोत वीडियो की प्रक्रिया का प्रदर्शन किया गया: पहले स्रोत वीडियो को शोर से मुक्त किया गया, फिर VDM मॉडल के माध्यम से क्रमिक रूप से शोर हटाया गया। प्रत्येक चरण में, पूर्वानुमानित बिना शोर का घटक VDM के शोर हटाने की दिशा का प्रतिनिधित्व करता है और एक स्थिर लक्ष्य के रूप में कार्य करता है। इसके आधार पर, स्थिर प्रकाश ध्यान मॉड्यूल अद्वितीय प्रकाश जानकारी को इंजेक्ट करता है, जिससे इसे पुनः प्रकाशन लक्ष्य में परिवर्तित किया जाता है। अंत में, प्रगतिशील प्रकाश विलय रणनीति दोनों लक्ष्यों को जोड़ती है, एक विलय लक्ष्य बनाने के लिए, जो वर्तमान चरण को अधिक बारीक दिशा प्रदान करता है।
Light-A-Video की सफलता न केवल वीडियो पुनः प्रकाशन तकनीक की क्षमता को प्रदर्शित करती है, बल्कि भविष्य के संबंधित शोध के लिए दिशा भी बताती है।
https://bujiazi.github.io/light-a-video.github.io/
मुख्य बिंदु:
🌟 Light-A-Video एक बिना प्रशिक्षण वाली तकनीक है, जिसका उद्देश्य वीडियो पुनः प्रकाशन की समय स्थिरता को प्राप्त करना है।
🎥 स्थिर प्रकाश ध्यान मॉड्यूल और प्रगतिशील प्रकाश विलय रणनीति का उपयोग करते हुए, वीडियो पुनः प्रकाशन में प्रकाश स्रोत की असंगति की समस्या का समाधान किया गया।
📈 प्रयोगों से पता चला है कि Light-A-Video ने पुनः प्रकाशन वीडियो की समय स्थिरता और छवि गुणवत्ता में महत्वपूर्ण सुधार किया।
