O serviço de chatbot Character.AI está lançando um novo recurso chamado "Visão dos Pais". Este recurso permite que adolescentes enviem um relatório semanal sobre o uso do chatbot para o endereço de e-mail dos pais. De acordo com o anúncio da empresa, o relatório inclui o tempo médio diário gasto no aplicativo em dispositivos móveis e web, os personagens com quem mais interagem e a duração das conversas com cada personagem. Essa iniciativa faz parte de uma série de atualizações projetadas para abordar duas preocupações principais relacionadas ao uso de chatbots por menores: tempo excessivo gasto em conversas e exposição a conteúdo inadequado.
Este relatório não requer que os pais tenham uma conta e é opcional, podendo ser configurado pelos menores nas configurações do Character.AI. A empresa destaca que o relatório é apenas uma visão geral das atividades do adolescente, não um log completo, e não compartilha o conteúdo específico das conversas do chatbot. Atualmente, a plataforma proíbe o uso por crianças menores de 13 anos na maioria das regiões e menores de 16 anos na Europa.
Desde o ano passado, o Character.AI tem lançado novos recursos para usuários menores de idade, mas, ao mesmo tempo, as preocupações com o serviço têm aumentado, incluindo ações judiciais. A plataforma é muito popular entre os adolescentes, permitindo que eles criem, personalizem e interajam com chatbots, ou compartilhem publicamente. No entanto, vários processos alegam que esses robôs fornecem conteúdo sexualmente explícito ou incentivam a automutilação. A empresa também teria recebido avisos da Apple e do Google (que contrataram os fundadores do Character.AI no ano passado) sobre o conteúdo do aplicativo.
O Character.AI afirma que seu sistema foi redesenhado. Entre outras mudanças, modelos treinados para evitar saídas "sensíveis" foram disponibilizados para usuários menores de 18 anos, e foram adicionados avisos mais visíveis lembrando os usuários de que os robôs não são humanos. No entanto, dada a atenção atual à regulamentação da IA e às leis de segurança infantil, esta pode não ser a última medida que a empresa será obrigada a tomar.