हाल ही में, स्टैनफोर्ड विश्वविद्यालय और हांगकांग विश्वविद्यालय के शोधकर्ताओं ने पाया कि वर्तमान AI एजेंट (जैसे क्लॉड) मानवों की तुलना में पॉप-अप विंडो से अधिक प्रभावित होते हैं, और यहां तक कि सरल पॉप-अप के सामने आने पर, उनकी प्रदर्शन में काफी गिरावट आती है।
शोध के अनुसार, AI एजेंट प्रयोगात्मक वातावरण में डिज़ाइन किए गए पॉप-अप के सामने, औसत हमले की सफलता दर 86% तक पहुंच गई, जिससे कार्य की सफलता दर 47% कम हो गई। इस खोज ने AI एजेंट की सुरक्षा पर नए सिरे से ध्यान आकर्षित किया, विशेषकर जब उन्हें अधिक स्वायत्तता के साथ कार्य करने की क्षमता दी जाती है।
इस अध्ययन में, वैज्ञानिकों ने AI एजेंट की प्रतिक्रिया क्षमता का परीक्षण करने के लिए एक श्रृंखला के विरोधी पॉप-अप डिज़ाइन किए। अध्ययन से पता चला कि जबकि मानव इन पॉप-अप को पहचान सकते हैं और अनदेखा कर सकते हैं, AI एजेंट अक्सर प्रलोभन में आ जाते हैं, और यहां तक कि इन दुर्भावनापूर्ण पॉप-अप पर क्लिक कर देते हैं, जिससे वे निर्धारित कार्य पूरा नहीं कर पाते। यह स्थिति न केवल AI एजेंट के प्रदर्शन को प्रभावित करती है, बल्कि वास्तविक अनुप्रयोगों में सुरक्षा खतरों का भी कारण बन सकती है।
शोध टीम ने OSWorld और VisualWebArena जैसे दो परीक्षण प्लेटफार्मों का उपयोग किया, डिज़ाइन किए गए पॉप-अप को इंजेक्ट किया और AI एजेंट के व्यवहार का अवलोकन किया। उन्होंने पाया कि परीक्षण में शामिल सभी AI मॉडल हमलों के प्रति बहुत संवेदनशील थे। हमले के प्रभाव का मूल्यांकन करने के लिए, शोधकर्ताओं ने एजेंट द्वारा पॉप-अप पर क्लिक करने की आवृत्ति और उनके कार्य पूर्ण करने की स्थिति को रिकॉर्ड किया, परिणामों से पता चला कि हमले की स्थिति में, अधिकांश AI एजेंट की कार्य सफलता दर 10% से कम थी।
शोध ने पॉप-अप डिज़ाइन के हमले की सफलता दर पर प्रभाव की भी जांच की। आकर्षक तत्वों और विशिष्ट निर्देशों का उपयोग करके, शोधकर्ताओं ने पाया कि हमले की सफलता दर में उल्लेखनीय वृद्धि हुई। हालांकि, उन्होंने AI एजेंट को पॉप-अप को अनदेखा करने के लिए प्रेरित करने या विज्ञापन पहचान चिह्न जोड़ने जैसे उपायों के माध्यम से हमले का प्रतिरोध करने की कोशिश की, लेकिन परिणाम संतोषजनक नहीं थे। इससे यह पता चलता है कि वर्तमान रक्षा तंत्र AI एजेंट के लिए अभी भी बहुत कमजोर है।
शोध का निष्कर्ष स्वचालन क्षेत्र में अधिक उन्नत रक्षा तंत्र की आवश्यकता को उजागर करता है, ताकि AI एजेंट को दुर्भावनापूर्ण सॉफ़्टवेयर और प्रलोभक हमलों के खिलाफ बेहतर सुरक्षा मिल सके। शोधकर्ताओं ने AI एजेंट की सुरक्षा बढ़ाने के लिए अधिक विस्तृत निर्देश, दुर्भावनापूर्ण सामग्री की पहचान करने की क्षमता को बढ़ाने और मानव पर्यवेक्षण को शामिल करने जैसे तरीकों का सुझाव दिया।
पेपर:
https://arxiv.org/abs/2411.02391
गिटहब:
https://github.com/SALT-NLP/PopupAttack
मुख्य बिंदु:
🌟 AI एजेंट पॉप-अप के सामने 86% तक हमले की सफलता दर के साथ प्रदर्शन में मानवों से कम है।
🛡️ अध्ययन में पाया गया कि वर्तमान रक्षा उपाय AI एजेंट के लिए लगभग अप्रभावी हैं, सुरक्षा में सुधार की आवश्यकता है।
🔍 अध्ययन ने AI एजेंट की दुर्भावनापूर्ण सामग्री पहचानने की क्षमता और मानव पर्यवेक्षण जैसे रक्षा सुझाव दिए।
