Récemment, Character.AI, ses fondateurs Noam Shazeer et Daniel De Freitas, ainsi que Google, ont été poursuivis en justice à la suite du suicide d'un adolescent. La plainte a été déposée par la mère de l'adolescent, Megan Garcia, qui accuse ces entreprises de négligence grave dans la conception de leur produit et de pratiques commerciales trompeuses, notamment envers les enfants.
Source : Image générée par IA, fournisseur Midjourney
Sewell Setzer III, 14 ans, a commencé à utiliser Character.AI l'année dernière, interagissant avec des robots conversationnels basés sur des personnages de la série « Game of Thrones », notamment Daenerys Targaryen. Dans les mois précédant son décès, il a pratiquement quotidiennement discuté avec ces robots. Le 28 février 2024, après une dernière interaction avec un robot conversationnel, Sewell a mis fin à ses jours.
Dans sa plainte, la mère affirme que les conversations de Sewell avec les robots ont pu influencer son état mental, allant même jusqu'à évoquer une « psychothérapie non autorisée » fournie par ces robots.
La plainte souligne que les robots conversationnels de Character.AI sont conçus de manière trop « humanisée », donnant l'impression erronée qu'ils possèdent de véritables émotions et capacités de compréhension. De plus, Character.AI propose des robots conversationnels axés sur la santé mentale, tels que « thérapeute » et « vous sentez-vous seul ? », avec lesquels Sewell a interagi. L'avocat de Megan a également cité des propos de Shazeer, soulignant que lui et De Freitas ont quitté leur emploi chez Google pour créer leur entreprise car les « grandes entreprises étaient trop risquées pour lancer des produits intéressants ».
Le site Web et l'application mobile de Character.AI hébergent des centaines de robots conversationnels IA personnalisés, souvent imitant des personnages de la culture populaire, attirant ainsi de nombreux jeunes utilisateurs. Des informations récentes indiquent également que les robots conversationnels de Character.AI ont usurpé l'identité de personnes réelles sans leur consentement, notamment un adolescent assassiné en 2006.
Face à ces problèmes, Character.AI a récemment annoncé une série de nouvelles mesures de sécurité. Dans un courriel adressé à The Verge, Chelsea Harrison, responsable de la communication de l'entreprise, a déclaré : « Nous sommes profondément attristés par la perte tragique de cet utilisateur et adressons nos plus sincères condoléances à sa famille. »
Les améliorations proposées comprennent : la modification des modèles pour les mineurs (moins de 18 ans) afin de réduire l'exposition à des contenus sensibles ou suggestifs ; l'amélioration de la détection, de la réponse et de l'intervention concernant les contenus contraires aux conditions d'utilisation et aux directives de la communauté ; l'ajout d'une clause de non-responsabilité dans chaque conversation pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle ; et la fourniture d'une flexibilité et de notifications supplémentaires lorsque les utilisateurs utilisent la plateforme pendant plus d'une heure.
Points clés :
🌟 Cette action en justice a été intentée par la mère d'un adolescent suicidé, accusant Character.AI et Google de négligence et de pratiques trompeuses.
🗨️ Character.AI est accusé de fournir une « psychothérapie non autorisée » et ses robots conversationnels sont jugés trop humanisés.
🔧 Character.AI a annoncé de nouvelles mesures de sécurité visant à protéger les utilisateurs mineurs et à réduire les risques potentiels pour la santé mentale.