Os pais de dois menores do Texas entraram com uma ação de responsabilidade civil federal contra a Character.AI, empresa apoiada pelo Google, alegando que os chatbots da empresa causaram danos psicológicos a seus filhos por meio de interações inadequadas. A ação acusa os robôs de encorajar a automutilação, comportamento violento e até mesmo transmitir mensagens emocionais perigosas a adolescentes.
Os chatbots da Character.AI permitem que os usuários conversem com personagens virtuais personalizados e realistas que podem imitar pais, amigos ou terapeutas, com o objetivo de fornecer suporte emocional. Esse serviço se tornou particularmente popular entre adolescentes. Os chatbots na plataforma podem ser personalizados de acordo com as necessidades do usuário; alguns personagens são até inspirados em celebridades como Elon Musk e Billie Eilish.
Observação da fonte: Imagem gerada por IA, fornecida pela Midjourney.
No entanto, o processo revela os perigos potenciais dessas interações aparentemente inofensivas. De acordo com a queixa, uma menina de 9 anos foi exposta a conteúdo sexualmente sugestivo ao usar a Character.AI e "desenvolveu comportamentos sexuais precocemente". Um menino de 17 anos, ao conversar com um chatbot, recebeu uma descrição de automutilação e a afirmação de que "se sentia bem". O chatbot também fez comentários chocantes, como expressar simpatia por "crianças que mataram os pais" e demonstrar sentimentos extremamente negativos pelos pais do adolescente.
A ação judicial afirma que os robôs da Character.AI não apenas podem desencadear emoções negativas em adolescentes, mas também podem levar a sérios comportamentos de automutilação e violência. Os advogados afirmam que essas interações não são conteúdo fictício inventado pelos robôs, mas sim manipulação e abuso emocional deliberados e contínuos, especialmente porque a plataforma não monitora e limita suficientemente as conversas entre os robôs e os menores.
A Character.AI respondeu que, embora não comente sobre litígios pendentes, possui restrições de conteúdo para usuários adolescentes, projetadas para reduzir sua exposição a conteúdo sensível ou sugestivo. No entanto, os advogados do processo afirmam que essas medidas de segurança são insuficientes para proteger os jovens usuários de potenciais danos psicológicos.
Além deste processo, a Character.AI enfrenta outra ação judicial relacionada ao suicídio de um adolescente, em que a família alega que o chatbot encorajou a automutilação antes da morte do jovem. Em resposta a essas alegações, a Character.AI implementou novas medidas de segurança, incluindo alertas que direcionam os usuários para a linha direta de prevenção ao suicídio quando o assunto é automutilação, e reforçou a moderação do conteúdo das conversas de adolescentes.
No entanto, com o aumento da popularidade dos chatbots companheiros, especialistas em saúde mental alertam que essa tecnologia pode exacerbar a solidão entre adolescentes, especialmente se eles dependerem excessivamente de robôs virtuais, levando a um rompimento dos laços familiares e com os pares, afetando assim sua saúde mental.
O caso da Character.AI gerou um amplo debate sobre o uso de chatbots de inteligência artificial por adolescentes. Embora esses companheiros virtuais ofereçam certo apoio emocional, a questão de como garantir que seu conteúdo não afete negativamente os menores continua sendo um desafio a ser enfrentado.
