हांगकांग चाइनीज़ यूनिवर्सिटी की जिया जिया टीम द्वारा हाल ही में लॉन्च किया गया ControlNeXt वास्तव में AI की दुनिया का "वजन घटाने का जादूगर" है! यह ओपन-सोर्स इमेज/वीडियो जनरेशन गाइड टूल न केवल छोटा है, बल्कि यह Stable Diffusion परिवार के सामान्य मॉडलों जैसे SDXL, SD1.5 आदि के साथ पूरी तरह से अनुकूल है, और यह प्लग-एंड-प्ले भी है, जिससे उपयोग की प्रक्रिया को बहुत सरल बना दिया गया है।
ControlNeXt विभिन्न नियंत्रण मोड का समर्थन करता है, जिसमें एज गाइड, पोज़ कंट्रोल, मास्किंग और डेप्थ कंट्रोल आदि शामिल हैं। यह यहां तक कि आयरन मैन को सुंदरियों के साथ डांस करने के लिए भी प्रेरित कर सकता है, जिसमें हर एक इशारा सटीकता से किया जाता है, जो इसकी मजबूत नियंत्रण क्षमता को प्रदर्शित करता है।
ControlNeXt का "वजन घटाने का रहस्य" इस तथ्य में है कि इसने ControlNet के "बड़े पेट वाले" नियंत्रण शाखा को चालाकी से हटा दिया है और इसे कुछ ResNet ब्लॉकों से बने "हल्के भोजन पैकेज" से बदल दिया है। यह छोटा सा मॉड्यूल, जो मूल आकार का केवल एक-दसवां है, विभिन्न नियंत्रण शर्तों की विशेषताओं को पूरी तरह से निकाल सकता है।
इतना ही नहीं, ControlNeXt एक "शिक्षण प्रतिभा" भी है। इसे नई क्षमताओं को सीखने के लिए केवल 400 कदमों की आवश्यकता होती है, जबकि ControlNet को हजारों कदमों की आवश्यकता होती है। जनरेशन गति के मामले में, ControlNeXt तो एकदम तेज है, इसमें केवल 10.4% की देरी होती है, जबकि ControlNet को पूरे 41.9% की आवश्यकता होती है।
ControlNeXt की एक और "विशेष कला" है क्रॉस नॉर्मलाइजेशन। यह तकनीक जैसे विशेषताओं के लिए एक "नेटवर्किंग पार्टी" खोलती है, जिससे उनके डेटा वितरण को समन्वयित करने की कोशिश की जाती है, जिससे पैरामीटर इनिशियलाइजेशन की संवेदनशीलता से बचा जा सके और नियंत्रण शर्तें प्रशिक्षण के प्रारंभिक चरण में ही प्रभावी हो सकें।
ControlNeXt AI की दुनिया का "ट्रांसफार्मर" है, जो छोटा और लचीला होने के साथ-साथ शक्तिशाली भी है। यह न केवल द्वि-आयामी लड़कियों को नियंत्रण रेखाओं के साथ पूरी तरह से फिट कर सकता है, बल्कि विभिन्न शैली के क्रॉस-डायमेंशनल पात्रों का निर्माण भी कर सकता है। इस जादुई उपकरण के साथ, मुझे विश्वास है कि हम जल्द ही और भी आश्चर्यजनक AI कला कार्य देखेंगे!
प्रोजेक्ट होमपेज: https://pbihao.github.io/projects/controlnext/index.html
