डिजिटल युग में, वर्चुअल रियलिटी (VR) और ऑगमेंटेड रियलिटी (AR) तकनीकें धीरे-धीरे हमारे जीवन और काम करने के तरीके को बदल रही हैं। सोचिए, अगर एक ऐसा 3D अवतार बनाया जा सके जो आपकी हर हरकत और चेहरे के भाव की नकल कर सके, तो यह कैसा अनुभव होगा?
DGIST और Meta कंपनी के Codec Avatars Lab द्वारा संयुक्त रूप से विकसित ExAvatar, इस कल्पना को वास्तविकता में बदल रहा है। यह तकनीक एक वीडियो के माध्यम से आपके पूरे शरीर की हरकतों, चेहरे के भावों और यहां तक कि हाथों की मुद्राओं को पकड़ने में सक्षम है, और इन्हें एक जीवंत 3D डिजिटल छवि में परिवर्तित करती है।
ExAvatar के दो नवाचार: पहले, यह SMPL-X पूर्ण शरीर पैरामीटराइज्ड ग्रिड मॉडल का उपयोग करता है, जो मानव शरीर की विभिन्न मुद्राओं को सटीक रूप से पकड़ता और पुन: प्रस्तुत करता है; दूसरा, 3D गॉसियन स्प्लैश तकनीक (3DGS) के संयोजन से, ExAvatar को अधिक वास्तविक और प्रभावी रेंडरिंग क्षमता प्रदान करता है।
मुख्य विशेषताएँ:
पूर्ण शरीर 3D ड्राइविंग: शरीर, हाथ और चेहरे की पूरी एनिमेशन का समर्थन करता है, विभिन्न मुद्राएँ और भावनाएँ उत्पन्न करता है।
मिक्स्ड रिप्रेजेंटेशन: 3D गॉसियन और सतह ग्रिड का संयोजन, ज्यामिति और रूप की संगति सुनिश्चित करता है, धुंधलापन को कम करता है।
सुविधाजनक कैप्चर: संक्षिप्त समय में मोबाइल स्कैनिंग के माध्यम से 3D अवतार बनाना संभव है, संचालन सरल है।
उच्च गुणवत्ता रेंडरिंग: उन्नत एल्गोरिदम और तकनीकों का उपयोग करके उच्च गुणवत्ता की गतिशील प्रस्तुति और रेंडरिंग प्रभाव प्राप्त किया जाता है।
मौजूदा तकनीक से बेहतर: प्राकृतिक गति और रूप के मामले में पिछले 3D अवतार निर्माण तकनीकों को पार करता है, व्यापक अनुप्रयोग परिदृश्यों के लिए अनुकूल है।
ExAvatar ने पहले की तकनीकों में कुछ समस्याओं को हल किया है, जैसे चेहरे के भाव और मुद्राओं की विविधता की कमी, और 3D स्कैनिंग और गहराई छवियों जैसे अवलोकन डेटा की कमी। मिक्स्ड रिप्रेजेंटेशन के माध्यम से, ExAvatar ने एनिमेशन की स्वाभाविकता को बढ़ाया है और नए मुद्राओं में उत्पन्न होने वाले धुंधलापन को कम किया है।
ExAvatar को प्रशिक्षित करने से पहले, अनुसंधान टीम ने SMPL-X मॉडल के लिए शरीर, हाथ और चेहरे का सामूहिक पंजीकरण किया, और जोड़ों के ऑफसेट और चेहरे के ऑफसेट को शामिल किया, हाथों की हड्डी की लंबाई और चेहरे के क्षेत्र के आकार को अनुकूलित किया, जिससे अवतार की प्रदर्शन क्षमता और स्वाभाविकता में सुधार हुआ।
ExAvatar की तकनीकी संरचना प्रत्येक गॉसियन की विशेषताओं को निकालती है, और बहु-स्तरीय संवेदनशीलता (MLP) के माध्यम से संसाधित करती है, मानक ग्रिड के संयोजन से एक ऐसा 3D अवतार बनाती है जिसे मानक स्थान में एनिमेट किया जा सकता है। एनिमेशन प्रक्रिया के लिए रैखिक मिश्रण इंटरपोलेशन (LBS) एल्गोरिदम का उपयोग किया जाता है, और 3DGS तकनीक का उपयोग करके अवतार को स्क्रीन पर रेंडर किया जाता है, जो उच्च गुणवत्ता के दृश्य प्रभाव सुनिश्चित करता है।
ExAvatar की सुविधा इस बात में है कि उपयोगकर्ता सरल मोबाइल स्कैनिंग के माध्यम से 3D अवतार बना सकते हैं, नवीनतम शरीर की मुद्राओं, इशारों और चेहरे के भावों के साथ एनिमेशन का समर्थन करते हैं, और किसी भी कोण से रेंडर कर सकते हैं। यह तकनीक मिश्रित प्रतिनिधित्व विधि के माध्यम से प्रत्येक 3D गॉसियन को सतह के एक शिखर के रूप में मानती है, और इन शिखरों के बीच पूर्व-निर्धारित संबंध होता है, जो SMPL-X के ग्रिड टोपोलॉजी के साथ मेल खाता है।
परियोजना का पता: https://top.aibase.com/tool/exavatar
पत्र का पता: https://arxiv.org/pdf/2407.21686
