Kürzlich geriet die KI-Chatbot-Plattform Character AI aufgrund eines Falls mit Selbstmord eines Jugendlichen in rechtliche Schwierigkeiten. Die Plattform reichte beim Bundesbezirksgericht für den mittleren Bezirk von Florida einen Antrag auf Abweisung der Klage ein und argumentierte, dass sie gemäß dem Ersten Verfassungszusatz nicht für die Klage verantwortlich gemacht werden könne.
Bildquelle: Bild wurde mit KI generiert, Bildlizenzgeber Midjourney
Der Fall begann im Oktober mit einer Klage von Megan Garcia gegen Character AI. Garcias Sohn, der 14-jährige Sewell Setzer III, entwickelte nach der Nutzung des Character AI-Chatbots „Dany“ eine starke emotionale Abhängigkeit, was letztendlich zur Tragödie führte. Garcia gab an, dass ihr Sohn häufig mit dem Chatbot kommunizierte und sich dadurch zunehmend von seinem realen Leben entfremdete.
Nach dem Tod von Sewell versprach Character AI die Einführung mehrerer Sicherheitsfunktionen zur besseren Überwachung und Intervention bei Chat-Inhalten. Garcia forderte jedoch strengere Maßnahmen, wie z. B. das Verbot von Geschichten oder persönlichen Anekdoten durch den Chatbot.
In seinem Antrag auf Abweisung der Klage argumentierte Character AI, dass der Erste Verfassungszusatz Medien und Technologieunternehmen davor schützt, für angeblich schädliche Äußerungen haftbar gemacht zu werden, und betonte, dass dieses Recht auch für die Interaktion von Nutzern mit KI-Chatbots gelte. Der Antrag betonte, dass ein Erfolg der Klage die Meinungsfreiheit der Nutzer verletzen würde.
Der Antrag erwähnte nicht, ob Character AI unter dem Schutz von Abschnitt 230 des Communications Decency Act steht. Dieses Gesetz soll soziale Medien und andere Online-Plattformen vor der Haftung für nutzergenerierte Inhalte schützen, doch es ist umstritten, ob KI-generierte Inhalte unter diesen Schutz fallen.
Darüber hinaus argumentierte das Rechtsteam von Character AI, dass Garcias wahre Absicht darin bestehe, Character AI „abzuschalten“ und eine Gesetzgebung für ähnliche Technologien zu fördern. Das Unternehmen ist der Ansicht, dass ein Erfolg der Klage einen „Chilling Effect“ auf Character AI und die gesamte aufstrebende generative KI-Branche haben würde.
Neben dieser Klage sieht sich Character AI mit mehreren weiteren Klagen im Zusammenhang mit der Nutzung von KI-Inhalten durch Jugendliche konfrontiert. Weitere Vorwürfe lauten, dass Character AI einem 9-jährigen Kind „exzessive sexuelle Inhalte“ gezeigt und bei einem 17-jährigen Nutzer Selbstverletzung gefördert habe.
Der Generalstaatsanwalt von Texas, Ken Paxton, kündigte im Dezember eine Untersuchung von Character AI und 14 weiteren Technologieunternehmen an, da diese gegen staatliche Gesetze zum Schutz der Privatsphäre und Sicherheit von Kindern online verstoßen haben sollen.
Character AI wurde 2021 gegründet und ist Teil einer boomenden Branche für KI-Begleit-Apps. Die Auswirkungen auf die psychische Gesundheit sind jedoch noch nicht ausreichend erforscht. Mit der Einführung mehrerer Sicherheitswerkzeuge und KI-Modelle speziell für Jugendliche gibt Character AI an, die Sicherheit und das Content-Management seiner Plattform kontinuierlich zu verbessern.
Wichtigste Punkte:
📌 Character AI wird wegen eines Selbstmordfalls eines Jugendlichen verklagt und beantragt die Abweisung der Klage unter Berufung auf den Ersten Verfassungszusatz.
📌 Der Sohn von Garcia entwickelte aufgrund seiner Abhängigkeit von einem KI-Chatbot eine Entfremdung vom realen Leben, was zu einer Klage mit der Forderung nach mehr Sicherheitsmaßnahmen führte.
📌 Character AI steht außerdem vor mehreren weiteren Klagen im Zusammenhang mit jugendlichen Nutzern sowie einer Untersuchung in Texas.