हाल ही में, वाशिंगटन विश्वविद्यालय की अनुसंधान टीम ने SAMURAI नामक एक नए दृश्य ट्रैकिंग मॉडल को जारी किया है। यह मॉडल Segment Anything Model2 (SAM2) पर आधारित है, जिसका उद्देश्य जटिल दृश्यों में दृश्य वस्तुओं के ट्रैकिंग के दौरान आने वाली चुनौतियों को हल करना है, विशेष रूप से तेज गति और आत्म-छाया वाले वस्तुओं को संभालने में।
SAM2 वस्तु विभाजन कार्यों में उत्कृष्ट प्रदर्शन करता है, लेकिन दृश्य ट्रैकिंग में कुछ सीमाएँ हैं। उदाहरण के लिए, भीड़भाड़ वाले दृश्यों में, स्थिर विंडो की मेमोरी विधि द्वारा चयनित मेमोरी की गुणवत्ता पर विचार नहीं किया गया, जो वीडियो अनुक्रम में गलतियों के निरंतर प्रसार का कारण बन सकता है।
इस समस्या को हल करने के लिए, अनुसंधान टीम ने SAMURAI का प्रस्ताव रखा, जिसने समय गतिशीलता संकेत और गति संवेदनशील मेमोरी चयन तंत्र को पेश करके वस्तुओं की गति की भविष्यवाणी की क्षमता और मास्क चयन की सटीकता में महत्वपूर्ण सुधार किया। यह नवाचार SAMURAI को पुनः प्रशिक्षण या माइक्रो-ट्यूनिंग की आवश्यकता के बिना मजबूत और सटीक ट्रैकिंग करने में सक्षम बनाता है।
रियल-टाइम संचालन के संदर्भ में, SAMURAI ने मजबूत शून्य-शॉट प्रदर्शन प्रदर्शित किया, जिसका अर्थ है कि यह मॉडल विशिष्ट डेटा सेट के प्रशिक्षण के बिना भी अच्छा प्रदर्शन कर सकता है।
अनुसंधान टीम ने मूल्यांकन के माध्यम से पाया कि SAMURAI ने कई मानक डेटा सेट पर सफलता दर और सटीकता में महत्वपूर्ण वृद्धि की है। LaSOT-ext डेटा सेट पर, SAMURAI ने 7.1% का AUC वृद्धि हासिल की, जबकि GOT-10k डेटा सेट पर 3.5% का AO वृद्धि प्राप्त की। इसके अलावा, पूर्ण पर्यवेक्षित विधियों की तुलना में, SAMURAI ने LaSOT डेटा सेट पर प्रतिस्पर्धात्मक प्रदर्शन किया, जो जटिल ट्रैकिंग दृश्यों में इसकी मजबूती और व्यापक अनुप्रयोग क्षमता को साबित करता है।
अनुसंधान टीम ने कहा कि SAMURAI की सफलता ने भविष्य में अधिक जटिल और गतिशील वातावरण में दृश्य ट्रैकिंग तकनीक के अनुप्रयोग के लिए एक आधार स्थापित किया है। वे आशा करते हैं कि यह नवाचार दृश्य ट्रैकिंग क्षेत्र के विकास को बढ़ावा देगा, रीयल-टाइम अनुप्रयोगों की आवश्यकताओं को पूरा करेगा और विभिन्न स्मार्ट उपकरणों के लिए बेहतर दृश्य पहचान क्षमताएँ प्रदान करेगा।
प्रोजेक्ट लिंक: https://yangchris11.github.io/samurai/
मुख्य बिंदुओं को रेखांकित करें:
🔍 SAMURAI SAM2 मॉडल का एक नवोन्मेष सुधार है, जिसका उद्देश्य जटिल दृश्यों में दृश्य वस्तु ट्रैकिंग क्षमता को बढ़ाना है।
⚙️ गति संवेदनशील मेमोरी तंत्र को पेश करके, SAMURAI वस्तु गति की सटीक भविष्यवाणी और मास्क चयन को अनुकूलित कर सकता है, गलतियों के प्रसार से बचता है।
📈 कई मानक डेटा सेट पर, SAMURAI ने मजबूत शून्य-शॉट प्रदर्शन दिखाया है, ट्रैकिंग सफलता दर और सटीकता में महत्वपूर्ण सुधार किया है।