Le service de chatbot Character.AI lance une nouvelle fonctionnalité appelée « Surveillance parentale ». Cette fonctionnalité permet aux adolescents d'envoyer un rapport hebdomadaire sur leur utilisation du chatbot à l'adresse e-mail de leurs parents. Selon un communiqué de la société, ce rapport comprend le temps moyen passé quotidiennement sur le Web et les appareils mobiles, les personnages avec lesquels ils interagissent le plus souvent et la durée des conversations avec chacun d'eux. Cette initiative fait partie d'une série de mises à jour visant à résoudre deux problèmes majeurs liés à l'utilisation des chatbots par les mineurs : le temps excessif passé à chatter et la rencontre de contenus inappropriés.
Ce rapport n'exige pas que les parents possèdent un compte et est facultatif. Les mineurs peuvent le configurer eux-mêmes dans les paramètres de Character.AI. La société précise que ce rapport ne donne qu'un aperçu de l'activité des adolescents, et non un journal complet, et ne partage pas le contenu spécifique des conversations avec le chatbot. Actuellement, la plateforme est interdite aux enfants de moins de 13 ans dans la plupart des régions, et aux enfants de moins de 16 ans en Europe.
Depuis l'année dernière, Character.AI n'a cessé de lancer de nouvelles fonctionnalités pour les mineurs, mais des inquiétudes concernant son service se sont multipliées, allant même jusqu'à des plaintes judiciaires. La plateforme est très appréciée des adolescents, qui peuvent créer, personnaliser des chatbots, interagir avec eux ou les partager publiquement. Cependant, plusieurs poursuites judiciaires accusent ces robots de fournir du contenu pornographique inapproprié ou d'encourager l'automutilation. L'entreprise aurait également reçu des avertissements d'Apple et de Google (qui ont embauché les fondateurs de Character.AI l'année dernière) concernant le contenu de son application.
Character.AI affirme que son système a été repensé. Parmi les nombreux changements, un modèle entraîné pour éviter les sorties « sensibles » a été mis en place pour les utilisateurs de moins de 18 ans, et des notifications plus visibles rappellent aux utilisateurs que ces robots ne sont pas des êtres humains. Cependant, compte tenu de l'attention actuelle portée à la réglementation de l'intelligence artificielle et aux lois sur la sécurité des enfants, il ne s'agit peut-être pas de la dernière mesure que la société sera amenée à prendre.