हाल ही में, Ultralight-Digital-Human नामक एक ओपन-सोर्स प्रोजेक्ट ने डेवलपर समुदाय में व्यापक ध्यान आकर्षित किया है। इस प्रोजेक्ट ने मोबाइल प्लेटफॉर्म पर डिजिटल मानव तकनीक के तैनाती की समस्या को सफलतापूर्वक हल किया है, जिससे सामान्य स्मार्टफोन पर भी डिजिटल मानव एप्लिकेशन को रीयल-टाइम में चलाया जा सकता है, और संबंधित तकनीकों के प्रसार में नई संभावनाएँ पैदा हुई हैं।

यह सुपर हल्का डिजिटल मानव मॉडल अभिनव गहरे शिक्षण तकनीक का उपयोग करता है, जो एल्गोरिदम ऑप्टिमाइजेशन और मॉडल संकुचन के माध्यम से विशाल डिजिटल मानव प्रणाली को "पतला" करने में सफल रहा है, ताकि यह मोबाइल उपकरणों पर सुचारू रूप से चल सके। प्रणाली वीडियो और ऑडियो इनपुट को रीयल-टाइम में प्रोसेस करने का समर्थन करती है, और डिजिटल मानव छवि को तेजी से संश्लेषित कर सकती है, जिससे प्रतिक्रिया समय त्वरित और संचालन सुचारू होता है।

image.png

तकनीकी कार्यान्वयन के संदर्भ में, इस प्रोजेक्ट ने Wenet और Hubert दो ऑडियो फीचर एक्सट्रैक्शन योजनाओं को एकीकृत किया है, जिससे डेवलपर्स विशेष एप्लिकेशन परिदृश्य के अनुसार लचीले ढंग से चयन कर सकते हैं। साथ ही, समन्वय नेटवर्क (syncnet) तकनीक को शामिल करके, डिजिटल मानव के होंठों की समन्वय प्रभाव को काफी बढ़ाया गया है। मोबाइल उपकरणों पर सुचारू संचालन सुनिश्चित करने के लिए, विकास टीम ने प्रशिक्षण और तैनाती प्रक्रिया में पैरामीटर प्रुनिंग तकनीक का उपयोग किया है, जिससे गणना संसाधनों की आवश्यकता को प्रभावी ढंग से कम किया जा सके।

इस प्रोजेक्ट का एक और बड़ा आकर्षण यह है कि यह पूर्ण प्रशिक्षण प्रक्रिया दस्तावेज प्रदान करता है। डेवलपर्स को केवल 3-5 मिनट का उच्च गुणवत्ता वाला चेहरे का वीडियो तैयार करना है, और वे मार्गदर्शिका के अनुसार अपने डिजिटल मानव मॉडल का प्रशिक्षण शुरू कर सकते हैं। प्रणाली के लिए वीडियो की आवश्यकताएँ भी स्पष्ट हैं, Wenet मोड के लिए 20fps फ्रेम दर की आवश्यकता है, जबकि Hubert मोड के लिए 25fps की आवश्यकता है।

प्रशिक्षण के परिणाम सुनिश्चित करने के लिए, प्रोजेक्ट टीम विशेष रूप से डेवलपर्स को निम्नलिखित महत्वपूर्ण चरणों पर ध्यान देने की सलाह देती है: प्राथमिकता के रूप में पूर्व-प्रशिक्षित मॉडल का उपयोग करना; प्रशिक्षण डेटा की गुणवत्ता सुनिश्चित करना; प्रशिक्षण प्रक्रिया की नियमित निगरानी करना; समय पर प्रशिक्षण पैरामीटर को समायोजित करना। ये विवरण अंततः डिजिटल मानव के प्रभाव को सीधे प्रभावित करेंगे।

वर्तमान में, यह ओपन-सोर्स प्रोजेक्ट सोशल एप्लिकेशन, मोबाइल गेम्स और वर्चुअल रियलिटी जैसे क्षेत्रों में विशाल संभावनाएँ दिखा रहा है। पारंपरिक डिजिटल मानव तकनीक की तुलना में, इसने न केवल हार्डवेयर की बाधाओं को कम किया है, बल्कि क्रॉस-प्लेटफ़ॉर्म संगतता भी प्राप्त की है, जिससे यह विभिन्न प्रकार के स्मार्टफोनों पर स्थिरता से चल सकता है।

प्रोजेक्ट का पता: https://github.com/anliyuan/Ultralight-Digital-Human