Que se passe-t-il si l'IA est réentraînée avec ses propres images générées ? Récemment, des chercheurs de l'Université Stanford et de l'Université de Californie à Berkeley ont mené une expérience qui a révélé des résultats surprenants.
Les chercheurs ont découvert que lorsque les modèles de génération d'images IA sont réentraînés en utilisant leurs propres images générées, ces modèles produisent des images fortement déformées. Pire encore, cette distorsion ne se limite pas aux invites textuelles utilisées pour le réentraînement ; une fois le modèle « contaminé », il est difficile pour celui-ci de récupérer complètement, même après un réentraînement ultérieur avec uniquement des images réelles.
L'expérience a commencé avec un modèle open source appelé Stable Diffusion (SD). Les chercheurs ont d'abord sélectionné 70 000 images de visages de haute qualité dans l'ensemble de données FFHQ, puis les ont automatiquement classées. Ensuite, ils ont utilisé ces images réelles comme entrée pour générer 900 images correspondant à des caractéristiques spécifiques de groupes de personnes via le modèle Stable Diffusion.
Ensuite, les chercheurs ont utilisé ces images générées pour le réentraînement itératif du modèle. Ils ont constaté que, quel que soit le pourcentage d'images auto-générées dans l'ensemble de données de réentraînement, le modèle finissait par s'effondrer, la qualité des images générées diminuant considérablement. Le phénomène d'effondrement du modèle persistait même lorsque l'ensemble de données de réentraînement ne contenait que 3 % d'images auto-générées.
Les résultats de l'expérience montrent que les images générées par la version de base du modèle Stable Diffusion sont cohérentes avec les invites textuelles et présentent une haute qualité visuelle. Cependant, après un réentraînement itératif du modèle, les images générées commencent à présenter des incohérences sémantiques et des distorsions visuelles. Les chercheurs ont également constaté que l'effondrement du modèle affectait non seulement la qualité des images, mais aussi la diversité des images générées.
Pour vérifier cela, les chercheurs ont également mené des expériences de contrôle, en essayant d'atténuer l'impact de l'effondrement du modèle en ajustant l'histogramme des couleurs des images générées et en supprimant les images de faible qualité. Cependant, les résultats ont montré que ces mesures n'étaient pas efficaces pour empêcher l'effondrement du modèle.
Les chercheurs ont également étudié la possibilité de récupérer le modèle après sa « contamination ». Ils ont constaté que, même si dans certains cas, la qualité des images générées s'améliorait après plusieurs itérations de réentraînement, les signes d'effondrement du modèle persistaient. Cela montre que l'impact d'une « contamination » du modèle peut être à long terme, voire irréversible.
Cette recherche met en lumière un problème important : les systèmes actuels de génération d'images à partir de texte basés sur la diffusion sont très sensibles à la « contamination » des données. Cette « contamination » peut survenir involontairement, par exemple en récupérant des images sans discernement à partir de ressources en ligne. Elle peut également résulter d'attaques ciblées, par exemple en plaçant intentionnellement des données « contaminées » sur un site web.
Face à ces défis, les chercheurs proposent des solutions possibles, telles que l'utilisation de détecteurs d'authenticité des images pour exclure les images générées par l'IA, ou l'ajout de filigranes aux images générées. Bien que ces méthodes ne soient pas parfaites, leur combinaison pourrait considérablement réduire le risque de « contamination » des données.
Cette recherche nous rappelle que le développement de l'IA n'est pas sans risque. Nous devons traiter avec plus de prudence le contenu généré par l'IA, en veillant à ce qu'il n'ait pas d'impact négatif à long terme sur nos modèles et nos ensembles de données. Les recherches futures devront explorer plus avant comment rendre les systèmes d'IA plus résistants à ce type de « contamination » des données, ou développer des techniques permettant d'accélérer la « guérison » des modèles.
Adresse de l'article : https://arxiv.org/pdf/2311.12202