TANGO, HeyGen के करीब एक शक्तिशाली समाधान। यह अभिनव परियोजना न केवल चेहरे और होंठों के समकालिकता का समर्थन करती है, बल्कि यह पूरी तरह से ऑडियो के साथ मेल खाने वाले पूर्ण-शरीर क्रियाकलाप वीडियो उत्पन्न करने में भी अद्भुत है।
TANGO का मुख्य लाभ इसकी अनूठी उत्पन्न लॉजिक में निहित है। सबसे पहले, सिस्टम उपयोगकर्ता द्वारा प्रदान किए गए छोटे वीडियो नमूनों का विश्लेषण करता है, जिसमें विभिन्न शारीरिक मुद्राओं और क्रियाओं के परिवर्तन का "क्रिया मानचित्र" बनाता है।
फिर, यह इनपुट किए गए ऑडियो सामग्री के आधार पर, सबसे अच्छे क्रिया अनुक्रम का चयन करता है। अंत में, स्वाभाविक रूप से यथार्थवादी क्रिया वीडियो बनाने के लिए चिकनी संक्रमण फ्रेम उत्पन्न करता है। यह विधि TANGO को कुछ ही सेकंड के नमूना वीडियो से अनंत मात्रा में, ऑडियो के साथ मेल खाने वाले पूर्ण-शरीर क्रियाकलाप वीडियो उत्पन्न करने में सक्षम बनाती है।
TANGO परियोजना की तकनीकी आधारभूत संरचना स्तरित ऑडियो आंदोलन एम्बेडिंग और प्रसार अंतःस्थापन एल्गोरिदम पर आधारित है। ये उन्नत तकनीकें सिस्टम को ऑडियो में आवाज की विशेषताओं को सटीकता से समझने और उन्हें संबंधित इशारों में परिवर्तित करने की अनुमति देती हैं।
साथ ही, प्रसार अंतःस्थापन तकनीक यह सुनिश्चित करती है कि क्रियाओं के बीच का संक्रमण स्वाभाविक और चिकना हो, जिससे अचानक बदलाव से बचा जा सके, और वीडियो के समग्र अनुभव को बहुत बढ़ाया जा सके।
डेवलपर्स और तकनीकी प्रेमियों के लिए, TANGO की ओपन-सोर्स प्रकृति निस्संदेह एक बड़ा आकर्षण है। यह आगे की नवाचार और सुधार के लिए व्यापक स्थान प्रदान करता है। उदाहरण के लिए, डेवलपर्स को उम्मीद है कि वे क्यू शॉर्ट्स के ओपन-सोर्स LivePortrait जैसे होंठ समकालिकता परियोजनाओं को जोड़कर एक और अधिक संपूर्ण, यथार्थवादी AI वीडियो उत्पन्न प्रणाली बना सकेंगे।
TANGO के अनुप्रयोग की संभावनाएं बहुत व्यापक हैं। शिक्षकों, सामग्री निर्माताओं, और यहां तक कि सामान्य उपयोगकर्ताओं के लिए, TANGO एक सरल और उपयोगकर्ता-अनुकूल इंटरफेस प्रदान करता है। उपयोगकर्ता केवल ऑडियो फ़ाइल अपलोड करके संबंधित इशारा वीडियो उत्पन्न कर सकते हैं, जिससे वीडियो निर्माण प्रक्रिया को बहुत सरल बनाया जा रहा है, और रचनात्मकता को और अधिक आसान और प्रभावी बनाया जा रहा है।
हालांकि, हमें यह भी पहचानना चाहिए कि, हालांकि TANGO ने पूर्ण-शरीर क्रियाकलाप उत्पन्न करने में महत्वपूर्ण प्रगति की है, वर्तमान में ओपन-सोर्स HeyGen जैसे परियोजनाओं में कुछ पहलुओं में सीमाएँ हैं। अधिकांश परियोजनाएँ मुख्य रूप से चेहरे और होंठ समकालिकता का समर्थन करती हैं, जबकि व्यापक शारीरिक आंदोलन उत्पन्न करने में सुधार की आवश्यकता है।
परियोजना का पता: https://pantomatrix.github.io/TANGO/
