हाल ही में, चीन विज्ञान और प्रौद्योगिकी विश्वविद्यालय की शोध टीम ने एक अभिनव वीडियो संपादन उपकरण पेश किया है जिसका नाम PortraitGen है। बस वीडियो इनपुट करके, आप टेक्स्ट के माध्यम से व्यक्तियों के प्रभाव को संशोधित कर सकते हैं, संदर्भ छवियों के माध्यम से व्यक्तियों के प्रभाव को बदल सकते हैं, कपड़े बदल सकते हैं, प्रकाश संशोधन प्रभाव आदि जैसी बहु-मोडल पोर्ट्रेट संपादन कर सकते हैं।
और सबसे रोमांचक बात यह है कि यह सब केवल 30 मिनट में संभव है, संपादित किए गए पोर्ट्रेट वीडियो को प्रति सेकंड 100 फ्रेम की गति से सुचारू रूप से चलाया जा सकता है!
इस तकनीक का核心 SMPL-X गुणांक का ट्रैकिंग करना है, शोध टीम पहले एकल-आंख वीडियो को ट्रैक करती है, फिर एक तंत्र के माध्यम से जिसे न्यूरल गॉसियन टेक्सचर कहा जाता है, एक 3D गॉसियन विशेषता क्षेत्र का निर्माण करती है।
डेटा सेट को पुनरावृत्ति करके अपडेट करके, उपयोगकर्ता विविधता से पोर्ट्रेट संपादन कर सकते हैं। विशेष रूप से उल्लेखनीय है कि टीम ने "फेशियल अवेयरनेस एडिटिंग" मॉड्यूल भी पेश किया है, जिसका उद्देश्य अभिव्यक्ति की गुणवत्ता को बढ़ाना और व्यक्तिगत चेहरे की संरचना को बनाए रखना है, संपादित प्रभाव स्वाभाविक और बारीक है।
टेक्स्ट संशोधन व्यक्तियों के प्रभाव
PortraitGen की संपादन क्षमताएँ बहुत शक्तिशाली हैं, उपयोगकर्ता टेक्स्ट-संचालित और छवि-संचालित संपादन कर सकते हैं।
उदाहरण के लिए, टेक्स्ट-संचालित संपादन में InstructPix2Pix नामक 2D संपादन मॉडल का उपयोग किया गया है, उपयोगकर्ता केवल RGB छवि, टेक्स्ट निर्देश और शोर वाली संभावित छवि इनपुट करते हैं, और सिस्टम इन सूचनाओं के आधार पर बारीकी से समायोजन कर सकता है।
शैलीकरण संपादन
जबकि छवि-संचालित संपादन के मामले में, टीम ने विभिन्न आवश्यकताओं के लिए स्टाइल ट्रांसफर और वर्चुअल ट्राई-ऑन जैसी तकनीकों का उपयोग किया है, जिससे उपयोगकर्ता आसानी से वीडियो फ्रेम में शैली स्थानांतरित कर सकते हैं, यहां तक कि कपड़े बदलने के प्रभाव को भी प्राप्त कर सकते हैं।
प्रकाश संशोधन
और भी दिलचस्प बात यह है कि PortraitGen उपयोगकर्ता द्वारा प्रदान की गई प्रकाश विवरण के अनुसार वीडियो फ्रेम की रोशनी को समायोजित कर सकता है, जिससे पूरा वीडियो अधिक सामंजस्यपूर्ण और आकर्षक बनता है।
अन्य शीर्ष वीडियो संपादन उपकरणों की तुलना में, PortraitGen संकेतों की सुरक्षा, पहचान की सुरक्षा और समय संगति के मामलों में काफी बेहतर प्रदर्शन करता है।
तकनीकी विवरण में, PortraitGen द्वारा पेश की गई न्यूरल गॉसियन टेक्सचर तकनीक, पारंपरिक स्फेरिकल हार्मोनिक्स विधियों से भिन्न है, प्रत्येक गॉसियन बिंदु के लिए शिक्षण योग्य विशेषताओं को संग्रहीत करती है, जिससे संपादन प्रभाव अधिक समृद्ध होता है, और अधिक जटिल शैलियों का समर्थन कर सकता है।
इसके अलावा, चेहरे की पहचान से बढ़ी हुई संपादन क्षमताओं और अभिव्यक्ति की संगति को अनुकूलित करके, PortraitGen ने विस्तृत पोर्ट्रेट संपादन क्षेत्र में अपनी ताकत को प्रदर्शित किया है।
प्रोजेक्ट का प्रवेश: https://top.aibase.com/tool/portraitgen
मुख्य बिंदु:
✨ PortraitGen केवल 30 मिनट में 2D पोर्ट्रेट वीडियो को 4D गॉसियन क्षेत्र में संपादित कर सकता है, जो प्रति सेकंड 100 फ्रेम की सुचारू播放 का समर्थन करता है।
🎨 विभिन्न संपादन विधियाँ प्रदान करता है, जिसमें टेक्स्ट-संचालित और छवि-संचालित शामिल हैं, जिससे वीडियो शैली परिवर्तन अधिक लचीला और विविध होता है।
💡 चेहरे की जागरूकता संपादन मॉड्यूल के माध्यम से, अभिव्यक्ति की गुणवत्ता को बढ़ाता है और उपयोगकर्ता की व्यक्तिगत चेहरे की विशेषताओं को बनाए रखता है।