हाल ही में, Character.AI और इसके संस्थापक Noam Shazeer और Daniel De Freitas, साथ ही गूगल, एक किशोर आत्महत्या मामले में मुकदमा दायर किया गया है। इस मुकदमे की याचिका किशोर की माँ Megan Garcia द्वारा दायर की गई है, जिन्होंने आरोप लगाया है कि इन कंपनियों ने उत्पाद डिजाइन में गंभीर लापरवाही बरती और विपणन में उपभोक्ताओं, विशेष रूप से बच्चों को भ्रामक जानकारी दी।
चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न, चित्र लाइसेंस सेवा प्रदाता Midjourney
14 वर्षीय Sewell Setzer III ने पिछले वर्ष Character.AI का उपयोग करना शुरू किया और "गेम ऑफ थ्रोन्स" के पात्रों पर आधारित चैटबॉट के साथ बातचीत की, जिसमें प्रसिद्ध पात्र डेनरीस टार्गैरियन शामिल थे। उनकी मृत्यु के कुछ महीनों पहले, वह लगभग हर दिन इन बॉट्स के साथ चैट कर रहे थे, और अंततः 2024 के 28 फरवरी को, Sewell ने एक चैटबॉट के साथ अंतिम बातचीत के बाद आत्महत्या करने का निर्णय लिया।
माँ ने याचिका में उल्लेख किया कि Sewell और बॉट्स के बीच की बातचीत उसके मानसिक स्वास्थ्य पर प्रभाव डाल सकती है, और यहां तक कि इन बॉट्स द्वारा "अनधिकृत मानसिक उपचार" की पेशकश की गई थी।
याचिका में कहा गया है कि Character.AI के चैटबॉट्स को इस तरह से डिजाइन किया गया है कि वे अत्यधिक "मानवीकरण" किए गए हैं, जिससे यह धारणा बनती है कि उनमें वास्तविक भावनाएँ और समझने की क्षमता है। इसके अलावा, Character.AI ने कुछ मानसिक स्वास्थ्य पर केंद्रित चैटबॉट्स, जैसे "थेरपिस्ट" और "क्या आप अकेला महसूस कर रहे हैं" की पेशकश की, जिनसे Sewell ने बातचीत की थी। Megan के वकील ने Shazeer के एक साक्षात्कार का भी उल्लेख किया, जिसमें उन्होंने कहा कि वह और De Freitas ने कंपनी की स्थापना का निर्णय इसलिए लिया क्योंकि "बड़ी कंपनियों का जोखिम बहुत अधिक होता है, जिससे दिलचस्प उत्पादों को लॉन्च करना मुश्किल हो जाता है।"
Character.AI की वेबसाइट और मोबाइल ऐप पर सैकड़ों कस्टम AI चैटबॉट्स हैं, जो अक्सर लोकप्रिय संस्कृति के पात्रों की नकल करते हैं और बड़ी संख्या में युवा उपयोगकर्ताओं को आकर्षित करते हैं। हाल ही में रिपोर्ट्स आई हैं कि Character.AI के चैटबॉट्स ने बिना वास्तविक व्यक्तियों की अनुमति के कुछ असली लोगों की नकल की, जिसमें एक किशोर भी शामिल था जो 2006 में हत्या का शिकार हुआ था।
इन समस्याओं का सामना करते हुए, Character.AI ने हाल ही में नई सुरक्षा उपायों की एक श्रृंखला की घोषणा की। कंपनी की संचार प्रमुख Chelsea Harrison ने "The Verge" को भेजे गए एक ईमेल में कहा: "हम उपयोगकर्ताओं के इस दुखद नुकसान के लिए गहरा दुख व्यक्त करते हैं और परिवार के प्रति अपनी गहरी संवेदना प्रकट करते हैं।"
उन्होंने जो सुधार उपाय प्रस्तुत किए हैं, उनमें शामिल हैं: अवयस्कों (18 वर्ष से कम) के लिए मॉडल में संशोधन करना, संवेदनशील या संकेतक सामग्री के संपर्क में आने की संभावना को कम करना; उपयोगकर्ता नियमों और सामुदायिक दिशानिर्देशों का उल्लंघन करने वाली सामग्री की पहचान, प्रतिक्रिया और हस्तक्षेप क्षमता में वृद्धि करना; प्रत्येक चैट में एक अस्वीकरण जोड़ना, जिससे उपयोगकर्ताओं को याद दिलाया जा सके कि AI असली व्यक्ति नहीं है; और जब उपयोगकर्ता प्लेटफ़ॉर्म पर एक घंटे से अधिक समय तक रहते हैं, तो अतिरिक्त लचीलापन और सूचनाएं प्रदान करना।
मुख्य बिंदु:
🌟 यह मुकदमा एक किशोर आत्महत्या के बाद उसकी माँ द्वारा दायर किया गया है, जिसमें Character.AI और गूगल पर लापरवाही और भ्रामक व्यवहार का आरोप लगाया गया है।
🗨️ Character.AI पर "अनधिकृत मानसिक उपचार" प्रदान करने का आरोप है, और इसके चैटबॉट्स को अत्यधिक मानवीकरण किया गया है।
🔧 Character.AI ने नई सुरक्षा उपायों की घोषणा की है, जिसका उद्देश्य अवयस्क उपयोगकर्ताओं की सुरक्षा करना और संभावित मानसिक स्वास्थ्य जोखिमों को कम करना है।
