वीडियो-फ़ॉली (Video-Foley)
वीडियो से ध्वनि का समकालित उत्पादन तंत्र
सामान्य उत्पादउत्पादकतावीडियो ध्वनि संश्लेषणस्व-पर्यवेक्षणात्मक शिक्षण
वीडियो-फ़ॉली एक नवीन वीडियो-से-ध्वनि उत्पादन तंत्र है जो समय घटना की शर्त के रूप में वर्ग माध्य मूल (RMS) का उपयोग करके, अर्थपूर्ण ध्वनि संकेत (ऑडियो या टेक्स्ट) के साथ मिलकर, उच्च नियंत्रण और समकालिकता के साथ वीडियो ध्वनि संश्लेषण प्राप्त करता है। यह तंत्र बिना लेबलिंग वाले स्व-पर्यवेक्षणात्मक शिक्षण ढाँचे का उपयोग करता है, जिसमें Video2RMS और RMS2Sound दो चरण शामिल हैं, जिसमें RMS असततकरण और RMS-ControlNet जैसी नवीन अवधारणाएँ शामिल हैं, जो पूर्व-प्रशिक्षित टेक्स्ट-टू-ऑडियो मॉडल के साथ जुड़ी हुई हैं। वीडियो-फ़ॉली ध्वनि समय, तीव्रता, ध्वनि और विवरण में ऑडियो-वीडियो संरेखण और नियंत्रण के मामले में अत्याधुनिक प्रदर्शन प्राप्त करता है।