Une nouvelle méthode de recherche a récemment révélé des capacités latentes insoupçonnées des modèles d'IA au cours de leur processus d'apprentissage. En analysant la dynamique d'apprentissage des modèles d'IA dans un « espace conceptuel », les chercheurs ont découvert comment améliorer la compréhension et la génération d'images par les systèmes d'IA.
Source de l'image : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
L'« espace conceptuel » est un système de coordonnées abstrait qui représente les caractéristiques de chaque concept indépendant dans les données d'entraînement, telles que la forme, la couleur ou la taille des objets. Les chercheurs indiquent qu'en décrivant la dynamique d'apprentissage dans cet espace, il est possible de révéler la vitesse d'apprentissage conceptuel et la manière dont l'ordre d'apprentissage est influencé par les attributs des données, une propriété appelée « signal conceptuel ». Ce signal conceptuel reflète la sensibilité des variations des valeurs conceptuelles au processus de génération des données. Par exemple, lorsque la différence entre le rouge et le bleu est marquée dans un ensemble de données, le modèle apprendra les couleurs plus rapidement.
Au cours de la recherche, l'équipe a observé des changements de direction soudains dans la dynamique d'apprentissage du modèle, passant de la « mémoire conceptuelle » à la « généralisation ». Pour vérifier ce phénomène, ils ont entraîné un modèle avec les entrées « grand cercle rouge », « grand cercle bleu » et « petit cercle rouge ». Le modèle n'a pas pu générer la combinaison « petit cercle bleu », absente de l'entraînement, à partir d'une simple invite textuelle. Cependant, en utilisant la technique d'« intervention latente » (c'est-à-dire en manipulant l'activation responsable de la couleur et de la taille dans le modèle) et la technique de « sur-invite » (c'est-à-dire en augmentant les spécifications de couleur via les valeurs RVB), les chercheurs ont réussi à générer un « petit cercle bleu ». Cela montre que, bien que le modèle comprenne la combinaison « bleu » et « petit », il n'a pas maîtrisé cette capacité via de simples invites textuelles.
Les chercheurs ont également étendu cette méthode à des ensembles de données réels, tels que CelebA, qui contient de multiples attributs d'images faciales comme le sexe et le sourire. Les résultats montrent que le modèle présente des capacités cachées lors de la génération d'images de femmes souriantes, alors qu'il est moins performant avec des invites basiques. De plus, des expériences préliminaires ont révélé que la sur-invite avec Stable Diffusion 1.4 peut générer des images inhabituelles, comme une carte de crédit triangulaire.
Par conséquent, l'équipe de recherche propose une hypothèse générale sur les capacités cachées : les modèles génératifs possèdent des capacités latentes qui émergent de manière soudaine et cohérente pendant l'entraînement, même si le modèle ne les manifeste pas face à des invites ordinaires.
Points clés :
🌟 Les modèles d'IA présentent des capacités latentes cachées au cours de leur apprentissage, dépassant les capacités déclenchées par des invites classiques.
🔍 Grâce à des techniques telles que l'« intervention latente » et la « sur-invite », les chercheurs ont pu activer ces capacités cachées et générer des images inattendues.
📊 L'analyse de la dynamique d'apprentissage dans l'« espace conceptuel » montre que la vitesse d'apprentissage des différents concepts est influencée par les caractéristiques des données.