हाल ही में, Adobe अनुसंधान टीम ने मिशिगन विश्वविद्यालय के शोधकर्ताओं के साथ मिलकर एक आर्टिफिशियल इंटेलिजेंस सिस्टम विकसित किया है जिसे MultiFoley कहा जाता है, यह सिस्टम फिल्मों और वीडियो में डबिंग साउंड इफेक्ट्स उत्पन्न करने में सक्षम है, जो पोस्ट-प्रोडक्शन में मदद करता है।
MultiFoley की नवाचार यह है कि यह उपयोगकर्ताओं को टेक्स्ट प्रॉम्प्ट, संदर्भ ऑडियो या वीडियो उदाहरणों के माध्यम से साउंड इफेक्ट्स बनाने की अनुमति देता है। प्रदर्शन में, यह सिस्टम यहां तक कि बिल्ली की आवाज को शेर की दहाड़ में बदल सकता है, या टाइप राइटर की आवाज को पियानो नोट्स में परिवर्तित कर सकता है, और वीडियो दृश्यों के साथ पूरी तरह से समन्वयित कर सकता है।
MultiFoley की ऑडियो आउटपुट गुणवत्ता 48kHz के उच्च बैंडविड्थ तक पहुँचती है, जो मुख्य रूप से शोधकर्ताओं द्वारा इंटरनेट पर उपलब्ध वीडियो और पेशेवर साउंड लाइब्रेरी के साथ प्रशिक्षण के कारण है। पिछले सिस्टमों के विपरीत, MultiFoley पहली बार विभिन्न इनपुट विधियों - टेक्स्ट, ऑडियो और वीडियो संदर्भ - को एक ही मॉडल में एकीकृत करता है। यह प्रति सेकंड 8 फ्रेम के दृश्य विशेषताओं का विश्लेषण करता है, और इसे 40Hz ऑडियो सैंपलिंग दर से मेल खाने के लिए बढ़ाता है, यह सुनिश्चित करता है कि उत्पन्न ऑडियो और वीडियो के बीच निकटता से समन्वय बना रहे।
परीक्षणों में, MultiFoley ने ऑडियो और वीडियो के समन्वय और साउंड इफेक्ट्स और टेक्स्ट विवरण के मेल में उत्कृष्ट प्रदर्शन किया, औसत समन्वय सटीकता 0.8 सेकंड तक पहुँच गई, जो पारंपरिक सिस्टमों की तुलना में काफी बेहतर है, जिनमें आमतौर पर एक सेकंड से अधिक की देरी होती है। उपयोगकर्ता अनुसंधान से पता चलता है कि 85.8% प्रतिभागियों ने माना कि MultiFoley अर्थ संगति में दूसरे स्थान से बेहतर है, जबकि 94.5% प्रतिभागियों ने इसके समन्वय प्रभाव को अधिक पसंद किया।
हालांकि MultiFoley ने मजबूत संभावनाएं दिखाई हैं, लेकिन शोध टीम ने वर्तमान में कुछ सीमाओं को भी इंगित किया है, जैसे कि प्रशिक्षण डेटा का अपेक्षाकृत छोटा होना, जो इसकी साउंड इफेक्ट्स की विविधता को सीमित करता है। साथ ही, सिस्टम एक साथ कई साउंड इफेक्ट्स उत्पन्न करने में भी कुछ कठिनाइयों का सामना करता है। शोध टीम जल्द ही स्रोत कोड और मॉडल जारी करने की योजना बना रही है।
हालांकि Adobe ने अभी तक MultiFoley को अपने उत्पादों में शामिल करने की घोषणा नहीं की है, यह तकनीक Adobe Premiere Pro वीडियो संपादन सॉफ़्टवेयर में मौजूदा आर्टिफिशियल इंटेलिजेंस सुविधाओं के साथ बहुत मेल खाती है, जो व्यक्तिगत क्रिएटर्स और प्रोडक्शन कंपनियों के लिए साउंड डिज़ाइन प्रक्रिया में सुविधा लाने की उम्मीद है।
मुख्य बिंदु:
🎬 MultiFoley एक AI साउंड इफेक्ट जनरेटिंग सिस्टम है जिसे Adobe और मिशिगन विश्वविद्यालय ने मिलकर विकसित किया है, जो विभिन्न इनपुट विधियों के माध्यम से साउंड इफेक्ट्स उत्पन्न कर सकता है।
🔊 इस सिस्टम की ऑडियो आउटपुट गुणवत्ता 48kHz है, औसत समन्वय सटीकता 0.8 सेकंड है, जो पारंपरिक साउंड इफेक्ट सिस्टम से बेहतर है।
📈 उपयोगकर्ता अनुसंधान से पता चलता है कि MultiFoley साउंड इफेक्ट्स की अर्थ संगति और समन्वय प्रभाव दोनों में उच्च प्रशंसा प्राप्त करता है।
