L'équipe de Jia Jia Ya de l'Université chinoise de Hong Kong a récemment lancé ControlNeXt, un véritable "régime miracle" du monde de l'IA ! Cet outil open source de guidage de génération d'images/vidéos est non seulement compact, mais il est également parfaitement compatible avec les modèles courants de la famille Stable Diffusion, tels que SDXL et SD1.5, et est prêt à l'emploi, simplifiant ainsi considérablement le processus d'utilisation.
ControlNeXt prend en charge plusieurs modes de contrôle, notamment le guidage par contour, le contrôle de la posture, le masquage et le contrôle de la profondeur de champ. Il peut même faire danser une belle femme comme Iron Man, avec une précision jusqu'au bout des doigts, démontrant ainsi ses puissantes capacités de contrôle.
Le "secret minceur" de ControlNeXt réside dans son ingénieux retrait de la branche de contrôle "gloutonne" de ControlNet, qu'il a remplacé par un "menu léger" composé de quelques blocs ResNet. Ce module compact, qui ne représente qu'un dixième du volume de l'original, permet d'extraire parfaitement les caractéristiques de diverses conditions de contrôle.
De plus, ControlNeXt est un "prodige de l'apprentissage". Il n'a besoin que de 400 étapes pour apprendre de nouvelles compétences, tandis que ControlNet en a besoin de plusieurs milliers. En termes de vitesse de génération, ControlNeXt est imbattable, n'ajoutant que 10,4 % de latence, tandis que ControlNet nécessite 41,9 %.
Une autre "technique secrète" de ControlNeXt est la normalisation croisée. Cette technique est comme une "soirée de rencontre" pour les caractéristiques, permettant d'aligner au mieux leurs distributions de données, évitant ainsi la sensibilité de l'initialisation des paramètres et permettant aux conditions de contrôle de jouer leur rôle dès le début de l'entraînement.
ControlNeXt est comme un "Transformer" de l'IA, petit, agile et pourtant puissant. Il permet non seulement aux jeunes filles de style manga de s'adapter parfaitement aux lignes de contrôle, mais il peut aussi créer des personnages interdimensionnels aux styles variés. Grâce à cet outil, nous pourrons bientôt voir de nombreuses œuvres d'art IA étonnantes !
Page du projet : https://pbihao.github.io/projects/controlnext/index.html
