最近，Character.AI 及其创始人 Noam Shazeer 和 Daniel De Freitas，以及谷歌，因一名青少年自杀事件被起诉。起诉方是该青少年的母亲 Megan Garcia，她在诉状中指控这些公司在产品设计上存在严重的失职，并且在市场推广上误导了消费者，尤其是儿童。
图源备注:图片由AI生成，图片授权服务商Midjourney
14岁的 Sewell Setzer III 在去年开始使用 Character.AI，和以《权力的游戏》中角色为基础的聊天机器人进行互动，包括著名角色丹妮莉丝・坦格利安。在他去世的前几个月，他几乎每天都在与这些机器人聊天，最终在2024年2月28日，Sewell 在与一个聊天机器人的最后一次互动后，选择了结束自己的生命。
母亲在诉状中提到，Sewell 与机器人的对话可能对他的心理状态产生了影响，甚至还涉及到这些机器人提供 “未经许可的心理治疗”。
诉状中提到，Character.AI 的聊天机器人在设计上过于 “拟人化”，以至于让人误以为它们具有真实的情感和理解能力。此外，Character.AI 还提供了一些以心理健康为主题的聊天机器人，例如 “治疗师” 和 “你感觉孤独吗”，Sewell 曾与机器人交流。Megan 的律师还引用了 Shazeer 的采访内容，指出他和 De Freitas 辞职创办公司的原因是 “大公司风险太大，无法推出有趣的产品”。
Character.AI 的官网和移动应用上有成百上千个自定义的 AI 聊天机器人，这些机器人往往模仿流行文化中的角色，吸引了大量年轻用户。最近还有报道称，Character.AI 的聊天机器人在没有得到真实人物的同意的情况下，假冒了一些真实的人物，包括一名在2006年被谋杀的青少年。
面对这些问题，Character.AI 最近宣布了一系列新的安全措施。公司的沟通负责人 Chelsea Harrison 在给《The Verge》的邮件中表示:“我们对用户的悲惨损失深感痛心，并向家属表达最诚挚的哀悼。”
他们提出的改进措施包括:针对未成年人（18岁以下）的模型进行修改，减少接触敏感或暗示性内容的可能性;提升对违反用户条款和社区指南的输入内容的检测、响应和干预能力;在每个聊天中加入免责声明，提醒用户 AI 并非真实的人;以及当用户在平台上使用超过一小时后，提供额外的灵活性和通知。
划重点:
🌟 该诉讼由一名青少年自杀后其母亲发起，控 Character.AI 和谷歌存在失职和误导行为。
🗨️ Character.AI 被指控提供 “未经许可的心理治疗”，并且其聊天机器人被认为过于拟人化。
🔧 Character.AI 已宣布新的安全措施，旨在保护未成年人用户，减少潜在的心理健康风险。