最近、Character.AIとその創設者であるNoam Shazeer氏とDaniel De Freitas氏、そしてGoogleは、10代の若者の自殺事件に関し訴訟を起こされました。訴訟を起こしたのは、その若者の母親であるMegan Garcia氏で、訴状の中で、これらの企業は製品設計において重大な過失があり、特に子供たちに対して誤解を招くようなマーケティングを行ったと主張しています。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
14歳のSewell Setzer IIIさんは昨年、Character.AIを使い始め、「ゲーム・オブ・スローンズ」のキャラクターをベースにしたチャットボットと交流していました。特にデナーリス・ターガリエンなどの人気キャラクターと。亡くなる数ヶ月前、彼はほぼ毎日これらのボットとチャットしており、2024年2月28日、チャットボットとの最後のやり取りの後、自ら命を絶ちました。
母親は訴状の中で、Sewellさんとボットとの会話が彼の精神状態に影響を与えた可能性があり、ボットが「無許可の心理療法」を提供していたことさえ示唆しています。
訴状によると、Character.AIのチャットボットは設計上あまりにも「人間らしい」ため、まるで本物の人間のように感情や理解力を持っていると誤解される可能性があります。「セラピスト」や「孤独を感じていますか」といった、メンタルヘルスをテーマにしたチャットボットも提供されており、Sewellさんもそれらと交流していました。Megan氏の弁護士は、Shazeer氏のインタビュー内容も引用し、彼とDe Freitas氏が大企業を辞めて会社を設立した理由は「大企業では面白みのある製品を開発するのがリスクが高すぎる」ためだと指摘しています。
Character.AIのウェブサイトやモバイルアプリには、何百ものカスタマイズされたAIチャットボットがあり、これらはしばしば流行文化のキャラクターを模倣しており、多くの若いユーザーを引きつけています。最近では、Character.AIのチャットボットが、2006年に殺害された10代の若者を含む、実在の人物を許可なく装っていたという報道もありました。
これらの問題に対し、Character.AIは最近、一連の新しい安全対策を発表しました。同社の広報担当者Chelsea Harrison氏はThe Vergeへのメールで、「ユーザーの悲劇的な損失を深く悲しみ、ご遺族に心よりお悔やみ申し上げます」と述べています。
発表された改善策には、18歳未満の未成年者向けのモデルの修正（センシティブな内容や暗示的な内容への接触の可能性を低減）、利用規約やコミュニティガイドラインに違反する入力内容の検出、対応、介入能力の向上、各チャットに免責事項を追加してAIが人間ではないことをユーザーに思い出させること、そしてプラットフォームを1時間以上使用した場合に、追加の柔軟性と通知を提供することが含まれます。
要点：
🌟 10代の若者の自殺を受け、母親がCharacter.AIとGoogleを過失と誤解を招く行為で訴訟。
🗨️ Character.AIは「無許可の心理療法」を提供していたとされ、チャットボットが過度に人間化されていると指摘。
🔧 Character.AIは、未成年者ユーザーの保護と潜在的なメンタルヘルスのリスク軽減を目的とした新しい安全対策を発表。
