Recentemente, o Character.AI, seus fundadores Noam Shazeer e Daniel De Freitas, e o Google, foram processados após o suicídio de um adolescente. A ação foi movida pela mãe do adolescente, Megan Garcia, que alega negligência grave no design do produto e práticas enganosas de marketing direcionadas a crianças.
Nota da imagem: Imagem gerada por IA, serviço de licenciamento de imagens Midjourney
Sewell Setzer III, de 14 anos, começou a usar o Character.AI no ano passado, interagindo com chatbots baseados em personagens de “Game of Thrones”, incluindo a icônica Daenerys Targaryen. Nos meses anteriores à sua morte, ele conversava com esses robôs quase todos os dias, culminando em seu suicídio em 28 de fevereiro de 2024, após sua última interação com um chatbot.
A mãe afirma na queixa que as conversas de Sewell com os robôs podem ter afetado seu estado mental, incluindo o fornecimento de “terapia não licenciada” por esses robôs.
A queixa alega que os chatbots do Character.AI são excessivamente “humanizados” em seu design, levando as pessoas a acreditar que eles possuem emoções e compreensão reais. Além disso, o Character.AI oferece chatbots com temas de saúde mental, como “terapeuta” e “você se sente sozinho?”, com os quais Sewell interagiu. O advogado de Megan também citou entrevistas de Shazeer, destacando que ele e De Freitas deixaram seus empregos para fundar a empresa porque “as grandes empresas eram muito arriscadas para lançar produtos interessantes”.
O site e o aplicativo móvel do Character.AI hospedam centenas de chatbots de IA personalizados, frequentemente imitando personagens da cultura pop, atraindo um grande número de usuários jovens. Recentemente, também houve relatos de que os chatbots do Character.AI se passavam por pessoas reais sem seu consentimento, incluindo um adolescente assassinado em 2006.
Em resposta a essas preocupações, o Character.AI anunciou recentemente uma série de novas medidas de segurança. Em um e-mail para a The Verge, a diretora de comunicações da empresa, Chelsea Harrison, disse: “Estamos profundamente entristecidos pela trágica perda de um usuário e oferecemos nossas mais sinceras condolências à família.”
As melhorias incluem: modificação dos modelos para menores de 18 anos para reduzir a exposição a conteúdo sensível ou sugestivo; aprimoramento da detecção, resposta e intervenção em conteúdo de entrada que viole os termos de uso e as diretrizes da comunidade; inclusão de um aviso de isenção de responsabilidade em cada bate-papo, lembrando os usuários de que a IA não é uma pessoa real; e fornecimento de flexibilidade e notificações adicionais após o uso da plataforma por mais de uma hora.
Destaques:
🌟 Ação judicial movida pela mãe de um adolescente que se suicidou, acusando o Character.AI e o Google de negligência e práticas enganosas.
🗨️ O Character.AI é acusado de fornecer “terapia não licenciada” e seus chatbots são considerados excessivamente humanizados.
🔧 O Character.AI anunciou novas medidas de segurança para proteger usuários menores de idade e reduzir potenciais riscos à saúde mental.
