हाल ही में, क्यूशो टीम द्वारा ओपन-सोर्स किए गए पोर्ट्रेट वीडियो जनरेशन फ्रेमवर्क LivePortrait ने आर्टिफिशियल इंटेलिजेंस के क्षेत्र में हलचल मचा दी है। यह अभिनव उपकरण केवल एक स्थिर छवि की मदद से जीवंत गतिशील वीडियो उत्पन्न कर सकता है, जो वीडियो जनरेशन में एआई तकनीक की विशाल संभावनाओं को दर्शाता है।

LivePortrait के लॉन्च होते ही इसे ओपन-सोर्स समुदाय में व्यापक ध्यान मिला। थोड़े समय में, इस परियोजना ने GitHub पर 7.5K स्टार्स प्राप्त कर लिए, और यह वर्तमान में सबसे लोकप्रिय एआई परियोजनाओं में से एक बन गई है। इसके अलावा, इसने HuggingFace के मुख्य रणनीतिक अधिकारी थॉमस वोल्फ का भी ध्यान आकर्षित किया और HuggingFace प्लेटफॉर्म पर सभी अनुप्रयोगों में ट्रेंडिंग चार्ट में शीर्ष स्थान प्राप्त किया।

image.png

LivePortrait का मुख्य लाभ इसकी आश्चर्यजनक "मिश्रण" क्षमता है। यह न केवल स्थिर छवि में व्यक्ति की आंखों को झपकाने, मुस्कुराने या मुड़ने की अनुमति देता है, बल्कि किसी व्यक्ति की भावनाओं और गतिशीलता को दूसरे व्यक्ति पर सटीकता से कॉपी कर सकता है, और यह शैली की सीमाओं से मुक्त है, इसे यथार्थवादी, तेल चित्रकला, मूर्तिकला और 3डी रेंडरिंग जैसी विभिन्न शैलियों पर लागू किया जा सकता है।

इस उपकरण का उपयोग क्षेत्र अत्यधिक व्यापक है। एकल पोर्ट्रेट से लेकर परिवार के फोटो तक, व्यक्तियों से लेकर पालतू जानवरों तक, LivePortrait जीवंत गतिशील प्रभाव उत्पन्न कर सकता है। और भी आश्चर्यजनक बात यह है कि यह वीडियो में भावनाओं को सटीक रूप से नियंत्रित करने की क्षमता प्रदान करता है, जैसे कि मुँह के कोनों के उठने के कोण या आँखों के आकार में बदलाव को समायोजित करना, जिससे रचनाकारों को अभिव्यक्ति नियंत्रण की पहले कभी नहीं देखी गई क्षमता मिलती है।

तकनीकी स्तर पर, LivePortrait ने एक नवोन्मेषी ढांचे का उपयोग किया है जो इम्प्लिसिट कीपॉइंट्स पर आधारित है, जो वर्तमान में प्रचलित विस्तार मॉडल विधियों से भिन्न है। यह दो चरणों के प्रशिक्षण प्रक्रिया के माध्यम से मॉडल की सामान्यीकरण क्षमता, अभिव्यक्ति क्षमता और बनावट गुणवत्ता में काफी सुधार करता है। पहले चरण में ढांचे में सुधार पर ध्यान केंद्रित किया गया, जिसमें उच्च गुणवत्ता वाले डेटा का आयोजन, मिश्रण प्रशिक्षण, नेटवर्क आर्किटेक्चर का उन्नयन आदि शामिल हैं। दूसरे चरण में, चेहरे की भावनाओं के विवरण की प्रक्रिया की सटीकता बढ़ाने के लिए फिटिंग और रीडायरेक्शन मॉड्यूल का प्रशिक्षण किया गया।

मौजूदा विधियों की तुलना में, LivePortrait उत्पादन गुणवत्ता और ड्राइविंग सटीकता में उत्कृष्टता दिखाता है, विशेष रूप से सूक्ष्म भावनाओं को पकड़ने और मूल छवि की बनावट को बनाए रखने में। हालाँकि कुछ पहलुओं में यह विस्तार मॉडल विधियों की तुलना में थोड़ा कमज़ोर है, LivePortrait की अनुमानित दक्षता अत्यधिक है, RTX4090GPU पर प्रति फ्रेम उत्पादन गति 12.8 मिलीसेकंड तक पहुँच जाती है, जो मौजूदा विस्तार मॉडल विधियों को काफी पीछे छोड़ देती है।

LivePortrait की उपस्थिति न केवल वीडियो जनरेशन में एआई तकनीक की नवीनतम प्रगति को प्रदर्शित करती है, बल्कि रचनात्मक उद्योग के लिए नए संभावनाएँ भी लाती है। इस प्रकार की तकनीक के निरंतर विकास के साथ, हम निकट भविष्य में और भी अद्भुत एआई वीडियो जनरेशन अनुप्रयोगों की उम्मीद कर सकते हैं, जो सामग्री निर्माताओं और सामान्य उपयोगकर्ताओं को अधिक समृद्ध और सुविधाजनक निर्माण उपकरण प्रदान करेंगे।

परियोजना का पता:https://top.aibase.com/tool/liveportrait

LivePortrait अनुभव का पता:

https://huggingface.co/spaces/KwaiVGI/LivePortrait