Récemment, l'équipe de recherche du groupe Alibaba a publié un nouveau framework appelé UniPortrait, axé sur le traitement personnalisé des images de portraits. Il permet une cohérence pour un seul personnage, une cohérence pour plusieurs personnages et une référence de style.
Ce framework permet non seulement de traiter les images d'une seule personne, mais aussi de personnaliser de manière qualitative des images avec plusieurs personnages. UniPortrait se caractérise par le maintien d'un haut niveau de réalisme des traits du visage et prend en charge un large éventail de fonctions d'édition du visage. Les utilisateurs peuvent même utiliser des descriptions textuelles libres pour générer l'image souhaitée, sans modèle fixe.
Cohérence pour un seul personnage
Le cœur d'UniPortrait est composé de deux modules : un module d'intégration d'ID et un module de routage d'ID. Le module d'intégration d'ID extrait les caractéristiques faciales modifiables de chaque identité et les intègre de manière découplée dans l'espace contextuel du modèle de diffusion. Ensuite, le module de routage d'ID combine et alloue de manière adaptative ces caractéristiques en fonction des différentes zones de la synthèse d'image, permettant ainsi une personnalisation pour une ou plusieurs identités.
Cohérence pour plusieurs personnages
Lors de l'entraînement, UniPortrait utilise un schéma d'entraînement en deux phases soigneusement conçu. La première phase se concentre sur l'entraînement d'une seule identité, tandis que la seconde phase affine les identités multiples. Grâce à cette méthode d'entraînement, UniPortrait surpasse les méthodes existantes en termes de personnalisation pour une ou plusieurs identités. Les résultats expérimentaux montrent également sa bonne extensibilité et sa compatibilité générale avec les outils de contrôle de génération existants.
Le lancement d'UniPortrait ouvre de nouvelles possibilités pour la personnalisation des images de portraits, notamment en ce qui concerne les invites de forme libre et la génération de mises en page diversifiées. L'équipe de recherche a présenté plusieurs exemples de personnalisation pour une ou plusieurs identités, démontrant ainsi l'énorme potentiel de ce framework dans les applications réelles. En résumé, UniPortrait améliore non seulement la qualité de la génération d'images, mais ouvre également la voie à diverses applications futures.
Accès au projet : https://top.aibase.com/tool/uniportrait
Accès à la démo : https://huggingface.co/spaces/Junjie96/UniPortrait
Points clés :
🌟UniPortrait est un framework innovant axé sur le traitement personnalisé d'images pour une ou plusieurs identités, avec une haute fidélité de conservation des traits du visage.
✍️ Ce framework est composé d'un module d'intégration d'ID et d'un module de routage d'ID, et utilise un schéma d'entraînement en deux phases pour une personnalisation efficace.
🚀 UniPortrait offre de vastes possibilités de personnalisation de portraits, prenant en charge les descriptions textuelles libres et la génération de mises en page diversifiées.
