Character AIは、ユーザーがAIチャットボットとロールプレイングできるプラットフォームです。最近、フロリダ州中地区米国地方裁判所に、10代の若者の親による訴訟の却下を申請しました。親であるMegan Garcia氏は、Character AIの技術が14歳の息子Sewell Setzer III氏に害を与えたと主張し、「Dany」というチャットボットとの交流を通じて現実世界から孤立し、最終的に自殺に至ったとしています。
Setzer氏の死後、Character AIは、サービス規約に違反するチャット内容の検出と介入能力を高めるため、一連の安全機能を導入すると発表しました。しかし、Garcia氏は、チャットボットが物語を語ったり、個人的な逸話を共有したりすることを禁止するなど、より厳しい制限を導入するよう求めています。
却下申請において、Character AIの法律チームは、同プラットフォームが第一修正権の保護を受け、ユーザーの言論の自由が侵害されると主張しています。法的文書では、本件はAI生成の対話に関わるものの、メディアやテクノロジー企業に関する過去の訴訟と本質的な違いはないと指摘しています。
注目すべきは、Character AIの弁護において、「通信品位法」第230条の適用性については触れられていないことです。この法律は、ソーシャルメディアやその他のオンラインプラットフォームを、第三者コンテンツに対する責任から保護しています。この条項がAI生成コンテンツを保護しないという暗示は制定者の発言にあったものの、この問題は未だ結論が出ていません。
Character AIの弁護士はまた、Garcia氏の真の意図は、プラットフォームを「閉鎖」し、同様の技術に関する立法を推進することにあると述べています。訴訟が成功した場合、Character AIおよび新興の生成AI業界全体に「寒蝉効果」が生じるでしょう。
現在、Character AIは複数の訴訟に直面しており、未成年者がプラットフォーム上の生成コンテンツとどのように関わっているかを中心に問題視されています。例えば、9歳の子供に「過度に性的描写を含むコンテンツ」を示したという訴訟や、17歳のユーザーの自傷行為を促したという訴訟があります。
テキサス州司法長官Ken Paxton氏も、Character AIを含む14社のテクノロジー企業に対し、児童のオンラインプライバシーと安全を守る州法に違反しているとして調査を開始しました。Character AIは急速に発展するAIコンパニオンアプリ業界の一部であり、この分野における精神衛生への影響は未だ十分に研究されていません。
様々な課題に直面しながらも、Character AIは新しい安全ツールを継続的に導入し、未成年ユーザーの保護のための対策を講じています。例えば、青少年向けのAIモデルを別に用意したり、センシティブなコンテンツを制限したりしています。
