वीडियो समझ के क्षेत्र में, पारंपरिक AI मॉडल अक्सर केवल छोटे वीडियो को संभालने में सक्षम होते हैं, जबकि घंटों या उससे अधिक लंबे वीडियो सामग्री का सामना करने पर उन्हें कठिनाई होती है। इसका मुख्य कारण यह है कि इन मॉडल्स को लंबे वीडियो को संभालते समय "शोर और अतिरिक्त" और "मेमोरी और गणना" की सीमाओं का सामना करना पड़ता है। अब, Goldfish नामक एक नई तकनीक ने इस स्थिति को बदल दिया है।
उत्पाद प्रवेश: https://top.aibase.com/tool/goldfish
Goldfish एक ऐसा तरीका है जिसे किसी भी लंबाई के वीडियो को संभालने के लिए विशेष रूप से डिजाइन किया गया है। यह एक कुशल खोज तंत्र का उपयोग करता है, जो पहले लंबे वीडियो से निर्देश के साथ सबसे संबंधित K वीडियो क्लिप निकालता है, और फिर इन क्लिप के आधार पर अंतिम उत्तर उत्पन्न करता है। इस तरह, Goldfish फिल्मों या टीवी धारावाहिकों जैसे लंबे वीडियो सामग्री को कुशलता से संभाल सकता है।
इस लक्ष्य को प्राप्त करने के लिए, Goldfish टीम ने MiniGPT4-Video विकसित किया है, जो वीडियो क्लिप के लिए विस्तृत विवरण उत्पन्न करने वाला एक उपकरण है। वीडियो फ्रेम और उपशीर्षक को एक साथ मिलाकर, MiniGPT4-Video वीडियो में दृश्य और पाठ जानकारी को सटीक रूप से समझ सकता है, जिससे लंबे वीडियो को संभालने की क्षमता में वृद्धि होती है।
इसके अलावा, टीम ने TVQA-long नामक एक मानक परीक्षण प्रस्तुत किया है, जिसका उपयोग लंबे वीडियो को समझने में मॉडल की क्षमता का मूल्यांकन करने के लिए किया जाता है। Goldfish ने इस परीक्षण में 41.78% की सटीकता प्राप्त की, जो पिछले तकनीकों से आगे है।
इतना ही नहीं, Goldfish ने छोटे वीडियो समझने में भी उत्कृष्ट प्रदर्शन किया है। MSVD, MSRVTT, TGIF और TVQA जैसे कई छोटे वीडियो मानक परीक्षणों में, Goldfish का प्रदर्शन मौजूदा सबसे उन्नत तरीकों को पार कर गया, जो इसके छोटे वीडियो प्रक्रिया की शक्तिशाली क्षमता को दर्शाता है।
Goldfish ने नवोन्मेषी खोज तंत्र और कुशल विवरण उत्पन्न करने के तरीके के माध्यम से लंबे वीडियो को संभालने की चुनौती को सफलतापूर्वक पार किया, साथ ही छोटे वीडियो समझने में भी महत्वपूर्ण प्रगति की।
**मुख्य बिंदु:**
Goldfish ने कुशल खोज तंत्र और MiniGPT4-Video के विवरण उत्पन्न करने की तकनीक के माध्यम से किसी भी लंबाई के वीडियो को सफलतापूर्वक संभाला, पारंपरिक मॉडल के लिए लंबे वीडियो को संभालने में कठिनाइयों को हल किया।
TVQA-long मानक परीक्षण में, Goldfish की सटीकता 41.78% तक पहुंच गई, जो पिछले तकनीकी स्तर से आगे है, और इसकी शक्तिशाली प्रक्रिया क्षमता को प्रदर्शित करती है।
Goldfish ने कई छोटे वीडियो मानक परीक्षणों में उत्कृष्ट प्रदर्शन किया, जो मौजूदा सबसे उन्नत तरीकों को पार कर गया, और छोटे वीडियो समझने में इसकी समग्र क्षमता को साबित किया।
