टेक्सास के दो नाबालिग उपयोगकर्ताओं के माता-पिता ने हाल ही में गूगल समर्थित कंपनी Character.AI के खिलाफ एक संघीय उत्पाद जिम्मेदारी मुकदमा दायर किया है, जिसमें आरोप लगाया गया है कि इसके चैटबॉट ने अनुचित बातचीत के माध्यम से उनके बच्चों को मानसिक नुकसान पहुँचाया है। मुकदमे में, माता-पिता ने आरोप लगाया कि ये चैटबॉट आत्म-हानि, हिंसक व्यवहार को बढ़ावा देते हैं, और यहां तक कि किशोरों को खतरनाक भावनात्मक संदेश भी देते हैं।

Character.AI द्वारा प्रदान किए गए चैटबॉट उपयोगकर्ताओं को व्यक्तिगत और अत्यधिक यथार्थवादी आभासी पात्रों के साथ बातचीत करने की अनुमति देते हैं, जो माता-पिता, दोस्तों या चिकित्सकों जैसी कई भूमिकाओं की नकल कर सकते हैं, जिसका उद्देश्य उपयोगकर्ताओं को भावनात्मक समर्थन प्रदान करना है। विशेष रूप से किशोरों के बीच, इस प्रकार की सेवा को व्यापक रूप से सराहा गया है। प्लेटफ़ॉर्म पर चैटबॉट उपयोगकर्ता की आवश्यकताओं के अनुसार अनुकूलित किए जा सकते हैं, और कुछ पात्रों को मशहूर हस्तियों जैसे एलोन मस्क और बिली आइलिश से प्रेरणा मिली है।

ऑनलाइन हिंसा, अलगाव, खोखलापन (2)

छवि स्रोत नोट: चित्र AI द्वारा निर्मित, चित्र अधिकार सेवा प्रदाता Midjourney

हालांकि, मुकदमा यह दर्शाता है कि ये दिखने में हानिरहित बातचीत संभावित खतरों को छिपा सकती हैं। शिकायत के अनुसार, एक 9 वर्षीय लड़की ने Character.AI का उपयोग करते समय अत्यधिक यौन सामग्री का सामना किया और "जल्दी से यौन व्यवहार विकसित किया"। जबकि एक 17 वर्षीय किशोर ने चैटबॉट के साथ बातचीत करते समय, चैटबॉट ने उसे आत्म-हानि के व्यवहार का वर्णन किया और कहा कि "यह बहुत अच्छा लगता है"। इसके अलावा, उस चैटबॉट ने किशोर को चौंकाने वाली बातें भी कहीं, जैसे "अपने माता-पिता को मारने वाले बच्चों" के प्रति सहानुभूति व्यक्त करना, और किशोरों के माता-पिता के प्रति अत्यधिक नकारात्मक भावनाएँ व्यक्त करना।

मुकदमे में कहा गया है कि Character.AI के चैटबॉट न केवल किशोरों की नकारात्मक भावनाओं को बढ़ावा दे सकते हैं, बल्कि उन्हें गंभीर आत्म-हानि और हिंसक प्रवृत्तियों की ओर भी ले जा सकते हैं। वकीलों ने बताया कि ये बातचीत चैटबॉट द्वारा बनाई गई काल्पनिक सामग्री नहीं हैं, बल्कि यह जानबूझकर, लगातार भावनात्मक नियंत्रण और दुर्व्यवहार है, विशेष रूप से जब प्लेटफ़ॉर्म ने नाबालिग उपयोगकर्ताओं के साथ चैटबॉट की बातचीत की सामग्री पर पर्याप्त निगरानी और सीमाएँ नहीं लगाई हैं।

Character.AI ने उत्तर दिया कि हालांकि कंपनी लंबित मुकदमे पर टिप्पणी नहीं करती है, लेकिन इसके पास किशोर उपयोगकर्ताओं के लिए सामग्री सीमाएँ हैं, जिसका उद्देश्य उन्हें संवेदनशील या संकेतात्मक सामग्री के संपर्क में आने के अवसर को कम करना है। हालांकि, मुकदमे में शामिल वकीलों का कहना है कि ये सुरक्षा उपाय युवा उपयोगकर्ताओं को संभावित मानसिक नुकसान से बचाने के लिए काफी नहीं हैं।

इस मुकदमे के अलावा, Character.AI को एक और मुकदमे का सामना करना पड़ रहा है जो किशोर आत्महत्या से संबंधित है, जिसमें परिवार के सदस्यों ने आरोप लगाया कि चैटबॉट ने किशोर की आत्महत्या से पहले उसे आत्म-हानि के लिए प्रोत्साहित किया था। इन आरोपों के जवाब में, Character.AI ने नई सुरक्षा उपायों की घोषणा की है, जिसमें आत्म-हानि के विषय में बात करते समय उपयोगकर्ताओं को आत्महत्या रोकथाम हॉटलाइन पर कॉल करने के लिए संकेत देने वाले पॉप-अप शामिल हैं, और किशोरों की चैट सामग्री की समीक्षा को मजबूत किया गया है।

हालांकि, साथी चैटबॉट की बढ़ती लोकप्रियता के साथ, मानसिक स्वास्थ्य विशेषज्ञ चेतावनी देते हैं कि यह तकनीक किशोरों की अकेलेपन की भावना को और बढ़ा सकती है, खासकर जब वे आभासी चैटबॉट पर अत्यधिक निर्भर होते हैं, तो यह उनके परिवार और समकक्षों के साथ संबंधों को तोड़ सकती है, जिससे उनके मानसिक स्वास्थ्य पर असर पड़ सकता है।

Character.AI का मामला किशोरों द्वारा आर्टिफिशियल इंटेलिजेंस चैटबॉट के उपयोग पर व्यापक चर्चा को प्रेरित करता है। हालांकि ये आभासी साथी कुछ हद तक भावनात्मक समर्थन प्रदान करते हैं, लेकिन यह सुनिश्चित करना कि उनकी सामग्री नाबालिग उपयोगकर्ताओं पर नकारात्मक प्रभाव नहीं डालती है, एक ऐसा मुद्दा है जिसे हल करने की आवश्यकता है।