L'Internet Watch Foundation (IWF) a récemment mis en garde contre une augmentation alarmante d'images de violence sexuelle contre des enfants (CSAM) générées par l'intelligence artificielle (IA) sur le web ouvert, atteignant un « point critique ». Cet organisme de surveillance de la sécurité a déclaré avoir détecté, au cours des six derniers mois, un nombre d'images illégales créées par IA supérieur à celui de toute l'année précédente.
Source : Image générée par IA, fournie par Midjourney
Derek Ray-Hill, directeur général par intérim de l'IWF, a déclaré que la sophistication de ces images suggère que les outils d'IA utilisés ont probablement été entraînés sur des images et des vidéos de vraies victimes. Il a souligné : « La situation de ces derniers mois montre que le problème ne ralentit pas, mais s'aggrave en réalité. » Des analystes affirment que la situation concernant les contenus générés par IA a atteint un « point critique », au point que les organismes de surveillance de la sécurité et les autorités ont du mal à déterminer si certaines images concernent de vrais enfants ayant besoin d'aide.
Au cours des six derniers mois, l'IWF a pris des mesures concernant 74 signalements de matériel d'abus sexuel sur des enfants généré par IA, soit une augmentation par rapport aux 70 signalements de mars dernier. Il est important de noter que ces contenus générés par IA se trouvent principalement sur le web accessible au public, et non sur le dark web. L'IWF souligne que plus de la moitié de ces contenus sont hébergés sur des serveurs en Russie et aux États-Unis, tandis que le Japon et les Pays-Bas présentent également un nombre important de contenus similaires.
Lors du traitement des signalements, l'IWF a découvert des cas impliquant des vidéos « deepfake », où du contenu pornographique adulte a été modifié pour représenter des abus sexuels sur des enfants. De plus, certains outils d'IA ont été utilisés pour « déshabiller » des photos d'enfants correctement vêtus trouvées en ligne. L'organisation a également indiqué que 80 % des signalements d'images illégales générées par IA sur des sites publics tels que des forums ou des galeries d'IA proviennent d'utilisateurs ordinaires.
Parallèlement, la plateforme de médias sociaux Instagram a annoncé de nouvelles mesures pour lutter contre le problème du « sextortion ». La plateforme lancera une nouvelle fonctionnalité qui floutera toute image explicite reçue dans les messages privés et rappellera aux utilisateurs de faire preuve de prudence lorsqu'ils envoient des messages privés contenant des images explicites. Cette fonctionnalité est activée par défaut pour les comptes d'adolescents et permet aux utilisateurs de choisir de visualiser ou non les images floutées.
Points clés :
🔍 Au cours des six derniers mois, le nombre d'images de violence sexuelle sur des enfants générées par IA et détectées par l'IWF a dépassé le total de l'année précédente, et le problème s'aggrave.
⚖️ La sophistication des images générées par IA, potentiellement entraînées sur des données de vraies victimes, rend la tâche difficile aux organismes de réglementation.
📱 Instagram lance une nouvelle fonctionnalité pour flouter les images explicites, afin d'aider les utilisateurs à se protéger contre le risque de sextortion.
