Das von Jias Team der Hong Kong University of Science and Technology (HKUST) kürzlich vorgestellte ControlNeXt ist ein wahrer „Schlankmacher“ in der Welt der KI! Dieses Open-Source-Tool zur Steuerung der Bild- und Videogenerierung ist nicht nur kompakt, sondern auch perfekt kompatibel mit gängigen Modellen der Stable Diffusion-Familie wie SDXL und SD1.5 und zudem sofort einsatzbereit, was den Anwendungsprozess erheblich vereinfacht.
ControlNeXt unterstützt verschiedene Steuerungsmodi, darunter Kantenführung, Posensteuerung, Maskierung und Tiefenschärfensteuerung. Es kann sogar Iron Man einen präzisen Damen-Tanz bis in die Fingerspitzen ausführen lassen und demonstriert damit seine beeindruckende Steuerungsfähigkeit.
Das „Geheimnis“ von ControlNeXt liegt in der geschickten Entfernung des „gefräßigen“ Steuerungszweigs aus ControlNet und dessen Ersatz durch ein „leichtes Menü“ aus wenigen ResNet-Blöcken. Dieses kompakte Modul ist zwar nur ein Zehntel so groß wie das Original, extrahiert aber perfekt die Merkmale verschiedener Steuerbedingungen.
Darüber hinaus ist ControlNeXt ein „Lern-Genie“. Es benötigt nur 400 Schritte, um neue Fähigkeiten zu erlernen, während ControlNet mehrere tausend Schritte benötigt. Bei der Generierungsgeschwindigkeit ist ControlNeXt unschlagbar und verursacht nur eine Verzögerung von 10,4 %, während ControlNet ganze 41,9 % benötigt.
Ein weiteres „Geheimrezept“ von ControlNeXt ist die Kreuznormalisierung. Diese Technik gleicht die Datenverteilung der Merkmale optimal an, wodurch die Empfindlichkeit der Parameterinitialisierung vermieden und die Steuerbedingungen bereits in der frühen Trainingsphase wirksam werden.
ControlNeXt ist wie ein „Transformer“ der KI-Welt: kompakt, flexibel und dennoch leistungsstark. Es ermöglicht nicht nur die perfekte Anpassung von Anime-Mädchen an Steuerlinien, sondern auch die Kreation von Charakteren aus verschiedenen Dimensionen mit unterschiedlichen Stilen. Mit diesem Werkzeug werden wir bald noch mehr beeindruckende KI-Kunstwerke erleben!
Projektseite: https://pbihao.github.io/projects/controlnext/index.html