Kürzlich wurden Character.AI, seine Gründer Noam Shazeer und Daniel De Freitas sowie Google wegen des Selbstmords eines Teenagers verklagt. Klägerin ist die Mutter des Teenagers, Megan Garcia, die in ihrer Klage den Unternehmen grobe Fahrlässigkeit im Produktdesign und irreführende Werbung, insbesondere gegenüber Kindern, vorwirft.
Bildquelle: Das Bild wurde mit KI generiert, Lizenzgeber: Midjourney
Der 14-jährige Sewell Setzer III begann im vergangenen Jahr, Character.AI zu nutzen und interagierte mit Chatbots, die auf Charakteren aus „Game of Thrones“ basierten, darunter die bekannte Figur Daenerys Targaryen. In den Monaten vor seinem Tod unterhielt er sich fast täglich mit diesen Bots und beendete am 28. Februar 2024 nach einer letzten Interaktion mit einem Chatbot sein Leben.
Die Mutter behauptet in der Klage, dass Sewells Gespräche mit den Bots seine psychische Verfassung beeinflusst haben könnten und sogar „unerlaubte Psychotherapie“ durch diese Bots stattgefunden habe.
Die Klage wirft Character.AI vor, dass die Chatbots zu „menschenähnlich“ gestaltet seien, so dass man den Eindruck habe, sie verfügten über echte Emotionen und Verständnis. Darüber hinaus bietet Character.AI Chatbots zu Themen der psychischen Gesundheit an, wie z. B. „Therapeut“ und „Fühlst du dich einsam?“, mit denen Sewell interagierte. Megan Garcias Anwalt zitiert auch ein Interview mit Shazeer, in dem dieser und De Freitas angaben, sie hätten das Unternehmen gegründet, weil „die Risiken in großen Unternehmen zu groß seien, um interessante Produkte auf den Markt zu bringen“.
Auf der Website und in der mobilen App von Character.AI gibt es Hunderte von benutzerdefinierten KI-Chatbots, die oft Charaktere aus der Popkultur imitieren und viele junge Nutzer anziehen. Kürzlich wurde auch berichtet, dass Character.AI-Chatbots ohne Zustimmung realer Personen die Identität realer Personen angenommen haben, darunter die eines 2006 ermordeten Teenagers.
Angesichts dieser Probleme hat Character.AI kürzlich eine Reihe neuer Sicherheitsmaßnahmen angekündigt. Die Kommunikationsleiterin Chelsea Harrison erklärte in einer E-Mail an „The Verge“: „Wir sind zutiefst betroffen über den tragischen Verlust und sprechen der Familie unser aufrichtiges Beileid aus.“
Zu den Verbesserungen gehören: Anpassung der Modelle für Minderjährige (unter 18 Jahren), um den Kontakt mit sensiblen oder anstößigen Inhalten zu reduzieren; verbesserte Erkennung, Reaktion und Intervention bei Inhalten, die gegen die Nutzungsbedingungen und Community-Richtlinien verstoßen; Hinzufügen eines Haftungsausschlusses zu jedem Chat, der die Nutzer daran erinnert, dass es sich bei der KI nicht um eine reale Person handelt; und zusätzliche Flexibilität und Benachrichtigungen, wenn Nutzer die Plattform länger als eine Stunde nutzen.
Wichtigste Punkte:
🌟 Die Klage wurde von der Mutter eines Teenagers eingereicht, nachdem dieser Selbstmord begangen hatte. Sie wirft Character.AI und Google Fahrlässigkeit und Irreführung vor.
🗨️ Character.AI wird vorgeworfen, „unerlaubte Psychotherapie“ anzubieten, und seine Chatbots gelten als zu menschenähnlich.
🔧 Character.AI hat neue Sicherheitsmaßnahmen angekündigt, um minderjährige Nutzer zu schützen und potenzielle Risiken für die psychische Gesundheit zu reduzieren.