हाल ही में, न्यू यॉर्क यूनिवर्सिटी के शोध टीम ने एक अध्ययन प्रकाशित किया, जिसमें बड़े पैमाने पर भाषा मॉडल (LLM) के डेटा प्रशिक्षण में कमजोरियों का खुलासा किया गया। उन्होंने पाया कि यहां तक कि बहुत कम मात्रा में गलत जानकारी, यदि प्रशिक्षण डेटा का 0.001% हो, तो पूरे मॉडल में महत्वपूर्ण गलतियाँ उत्पन्न कर सकती है। यह खोज विशेष रूप से चिकित्सा क्षेत्र के लिए चिंताजनक है, क्योंकि गलत जानकारी सीधे मरीजों की सुरक्षा को प्रभावित कर सकती है।
चित्र स्रोत नोट: चित्र एआई द्वारा उत्पन्न, चित्र अधिकार सेवा प्रदाता Midjourney द्वारा अनुमोदित
शोधकर्ताओं ने "नेचर मेडिसिन" पत्रिका में प्रकाशित अपने पेपर में बताया कि हालाँकि LLM उत्कृष्ट प्रदर्शन करते हैं, यदि उनके प्रशिक्षण डेटा में गलत जानकारी को शामिल किया गया है, तो ये मॉडल कुछ ओपन-सोर्स मूल्यांकन मानकों पर बिना प्रभावित हुए मॉडल के समान प्रदर्शन कर सकते हैं। इसका मतलब है कि सामान्य परीक्षणों के तहत, हम इन मॉडलों के संभावित जोखिमों का पता नहीं लगा सकते।
इसकी पुष्टि के लिए, शोध टीम ने "The Pile" नामक प्रशिक्षण डेटा सेट पर प्रयोग किया, जिसमें उन्होंने जानबूझकर 150,000 एआई-जनित चिकित्सा गलत लेख शामिल किए। केवल 24 घंटे में, उन्होंने इन सामग्री का उत्पादन किया, और अध्ययन से पता चला कि डेटा सेट में 0.001% सामग्री को बदलने से, भले ही यह एक छोटा सा 1 मिलियन प्रशिक्षण टैग हो, हानिकारक सामग्री में 4.8% की वृद्धि हो सकती है। इस प्रक्रिया की लागत बेहद कम थी, केवल 5 डॉलर खर्च हुए।
इस डेटा जहर हमले के लिए मॉडल के वजन से सीधे संपर्क की आवश्यकता नहीं है, बल्कि हमलावर केवल ऑनलाइन हानिकारक जानकारी को प्रकाशित करके LLM की प्रभावशीलता को कमजोर कर सकता है। शोध टीम ने इस खोज पर जोर दिया कि यह चिकित्सा क्षेत्र में एआई उपकरणों के उपयोग में महत्वपूर्ण जोखिम को उजागर करता है। साथ ही, उन्होंने यह भी उल्लेख किया कि कुछ एआई चिकित्सा प्लेटफार्मों, जैसे MyChart, के संबंध में पहले से ही मामले सामने आए हैं, जो मरीजों के प्रश्नों का स्वचालित उत्तर देते समय अक्सर गलत जानकारी उत्पन्न करते हैं, जिससे मरीजों को परेशानी होती है।
इसलिए, शोधकर्ताओं ने एआई डेवलपर्स और चिकित्सा प्रदाताओं से आग्रह किया कि जब वे चिकित्सा LLM विकसित कर रहे हैं, तो उन्हें इस कमजोरी को स्पष्ट रूप से पहचानना चाहिए। उन्होंने सुझाव दिया कि जब तक सुरक्षा सुनिश्चित नहीं हो जाती, तब तक LLM का उपयोग निदान या उपचार जैसे महत्वपूर्ण कार्यों के लिए नहीं किया जाना चाहिए।
मुख्य बिंदु:
🌐 शोध से पता चलता है कि केवल 0.001% गलत जानकारी से बड़े पैमाने पर भाषा मॉडल (LLM) निष्क्रिय हो सकते हैं।
🩺 चिकित्सा क्षेत्र में, गलत जानकारी का प्रसार मरीजों की सुरक्षा को गंभीर रूप से प्रभावित कर सकता है।
💡 शोधकर्ता सुरक्षा सुनिश्चित करने से पहले LLM का उपयोग निदान या उपचार जैसे महत्वपूर्ण चिकित्सा कार्यों के लिए नहीं करने का आग्रह करते हैं।
