Character AI, एक ऐसा प्लेटफार्म है जो उपयोगकर्ताओं को AI चैट बॉट के साथ भूमिका निभाने की अनुमति देता है, हाल ही में फ्लोरिडा के मध्य जिला अमेरिकी जिला अदालत में एक किशोर के माता-पिता द्वारा दायर किए गए मुकदमे को खारिज करने के लिए आवेदन किया है। उस माता-पिता, मेगन गार्सिया ने आरोप लगाया कि Character AI की तकनीक ने उसके 14 वर्षीय बेटे Sewell Setzer III को नुकसान पहुंचाया, यह कहते हुए कि वह "डैनी" नामक चैट बॉट के साथ बातचीत करते समय धीरे-धीरे वास्तविकता से अलग हो गया, और अंततः आत्महत्या का कारण बना।
Setzer की मृत्यु के बाद, Character AI ने कहा कि वह सेवा की शर्तों का उल्लंघन करने वाले चैट सामग्री की पहचान और हस्तक्षेप की क्षमता को बढ़ाने के लिए कई सुरक्षा सुविधाएँ पेश करेगा। हालाँकि, गार्सिया चाहती है कि प्लेटफार्म अधिक कठोर सीमाएँ लागू करे, जैसे कि चैट बॉट को कहानियाँ सुनाने और व्यक्तिगत किस्से साझा करने से रोकना।
अपने खारिज करने के आवेदन में, Character AI की कानूनी टीम ने दावा किया कि प्लेटफार्म पहले संशोधन के संरक्षण में है, यह कहते हुए कि इसके उपयोगकर्ताओं के अभिव्यक्ति की स्वतंत्रता के अधिकारों का उल्लंघन होगा। कानूनी दस्तावेज़ों में कहा गया है कि हालांकि इस मामले में AI द्वारा उत्पन्न संवाद शामिल है, लेकिन यह मीडिया और तकनीकी कंपनियों से संबंधित पूर्व मामलों के साथ कोई महत्वपूर्ण भिन्नता नहीं है।
यह ध्यान देने योग्य है कि Character AI का बचाव संचार शिष्टाचार अधिनियम की धारा 230 की प्रासंगिकता को शामिल नहीं करता, जो सोशल मीडिया और अन्य ऑनलाइन प्लेटफार्मों को तीसरे पक्ष की सामग्री के लिए जिम्मेदारी से बचाता है। जबकि अधिनियम के लेखकों ने संकेत दिया है कि यह धारा AI द्वारा उत्पन्न सामग्री की रक्षा नहीं करती, इस मुद्दे पर अभी तक कोई निष्कर्ष नहीं निकला है।
Character AI के वकीलों ने यह भी कहा कि गार्सिया का असली इरादा इस प्लेटफार्म को "बंद" करना और समान तकनीकों के लिए कानून बनाने के लिए दबाव डालना है। यदि मुकदमा सफल होता है, तो इसका "ठंडा प्रभाव" Character AI और पूरी उभरती हुई जनरेटिव AI उद्योग पर पड़ेगा।
वर्तमान में, Character AI कई मुकदमों का सामना कर रहा है, जो मुख्य रूप से किशोरों के अपने प्लेटफार्म पर उत्पन्न सामग्री के साथ कैसे इंटरैक्ट करते हैं, इस पर केंद्रित हैं, जिसमें एक मामला शामिल है जिसमें दावा किया गया है कि प्लेटफार्म ने 9 वर्षीय बच्चे को "अत्यधिक यौनीकृत सामग्री" दिखाई, और एक अन्य आरोप जिसमें कहा गया है कि यह 17 वर्षीय उपयोगकर्ता को आत्म-हानि के लिए प्रेरित करता है।
टेक्सास के अटॉर्नी जनरल केन पैक्सटन ने भी Character AI और अन्य 14 तकनीकी कंपनियों के खिलाफ जांच की घोषणा की है, यह आरोप लगाते हुए कि उन्होंने बच्चों की ऑनलाइन गोपनीयता और सुरक्षा की रक्षा के लिए राज्य कानूनों का उल्लंघन किया है। Character AI तेजी से विकसित हो रहे AI साथी एप्लिकेशन उद्योग का हिस्सा है, जिसमें मानसिक स्वास्थ्य के प्रभावों का अभी तक पूरी तरह से अध्ययन नहीं किया गया है।
विभिन्न चुनौतियों का सामना करते हुए, Character AI लगातार नए सुरक्षा उपकरण पेश कर रहा है और किशोर उपयोगकर्ताओं की सुरक्षा के लिए कदम उठा रहा है, जैसे कि अलग किशोर AI मॉडल और संवेदनशील सामग्री पर सीमाएँ लागू करना।
