हाल ही में, बाइटडांस ने एक नई पोर्ट्रेट एनिमेशन तकनीक X-Portrait2 पेश की है, जिसका उद्देश्य अत्यधिक कम लागत और कुशलता के साथ व्यक्तिपरक और यथार्थवादी चरित्र एनिमेशन बनाना है। उपयोगकर्ताओं को केवल स्थिर पोर्ट्रेट छवि और प्रदर्शन संचालित वीडियो प्रदान करने की आवश्यकता है, X-Portrait2 वीडियो में भावनाओं को पोर्ट्रेट में स्थानांतरित करके एनिमेशन वीडियो उत्पन्न कर सकता है, जिससे पारंपरिक मोशन कैप्चर और चरित्र एनिमेशन की जटिल प्रक्रिया को सरल बनाया जा सके।
इस तकनीक का मूल इसके उन्नत भावनाओं को कोड करने वाले मॉडल में है, जिसे बड़े पैमाने पर डेटा सेट के प्रशिक्षण के माध्यम से विकसित किया गया है, जो इनपुट में सूक्ष्म भावनाओं को निहित रूप से कोड कर सकता है। शक्तिशाली जनरेटिव डिफ्यूजन मॉडल के साथ मिलकर, X-Portrait2 सुचारू और अत्यधिक व्यक्तिपरक वीडियो उत्पन्न कर सकता है, जिसमें अभिनेताओं के सूक्ष्म चेहरे के भावों को, यहां तक कि पाउट करना, जीभ निकालना, गाल फुलाना और भौंह चुराना जैसी चुनौतीपूर्ण भावनाएं भी शामिल हैं। साथ ही, उत्पन्न वीडियो में भावनात्मक अभिव्यक्ति भी उच्च फिडेलिटी बनाए रखती है।
भावनाओं को कोड करने वाले मॉडल के प्रशिक्षण के दौरान, विकास टीम ने रूप और क्रिया के बीच मजबूत अलगाव सुनिश्चित किया, जिससे कोडर वीडियो में भावनाओं से संबंधित जानकारी पर ध्यान केंद्रित कर सके। इस डिज़ाइन ने मॉडल को विभिन्न शैलियों और क्षेत्रों के बीच भावनाओं के स्थानांतरण को संभव बनाया, जो वास्तविक कहानी कहने, चरित्र एनिमेशन, आभासी एजेंट और दृश्य प्रभावों जैसे कई परिदृश्यों के लिए उपयुक्त है।
वर्तमान में सबसे उन्नत तरीकों जैसे X-Portrait और Runway Act-One की तुलना में, X-Portrait2 तेज सिर के आंदोलनों, सूक्ष्म भावनात्मक परिवर्तनों और व्यक्तिगत भावनाओं के संप्रेषण में उच्च सटीकता प्रदर्शित करता है, जो उच्च गुणवत्ता वाली एनिमेशन सामग्री निर्माण के लिए अत्यंत महत्वपूर्ण है, जैसे कि एनिमेशन और फिल्म निर्माण में एनिमेशन सामग्री।
पता: https://byteaigc.github.io/X-Portrait2/
