¡El ControlNeXt del equipo de Jia Jiajia de la Universidad China de Hong Kong es la "máquina de adelgazar" definitiva en el mundo de la IA! Esta herramienta de guía de generación de imágenes/vídeos de código abierto no solo es compacta y compatible con modelos comunes de la familia Stable Diffusion como SDXL y SD1.5, sino que también es de tipo plug-and-play, lo que simplifica enormemente el proceso de uso.
ControlNeXt admite varios modos de control, incluyendo guía de bordes, control de postura, máscara y control de profundidad de campo. Incluso puede hacer que Iron Man baile con una mujer, con una precisión hasta los dedos, demostrando su poderosa capacidad de control.
El "secreto para adelgazar" de ControlNeXt radica en la inteligente eliminación de la rama de control "glotona" de ControlNet, reemplazándola con un "menú ligero" compuesto por unos pocos bloques ResNet. Este módulo compacto, que solo tiene una décima parte del tamaño del original, puede extraer perfectamente las características de diversas condiciones de control.
Además, ControlNeXt es un "genio del aprendizaje". Solo necesita 400 pasos para aprender nuevas habilidades, mientras que ControlNet necesita miles de pasos. En cuanto a la velocidad de generación, ControlNeXt es insuperable, con solo un 10.4% de retraso, mientras que ControlNet necesita un 41.9%.
Otra "técnica secreta" de ControlNeXt es la normalización cruzada. Esta tecnología es como organizar una "fiesta de integración" para las características, haciendo que sus distribuciones de datos sean lo más similares posible, evitando así la sensibilidad de la inicialización de los parámetros y permitiendo que las condiciones de control surtan efecto desde el principio del entrenamiento.
ControlNeXt es como un "transformer" de la IA, pequeño, flexible y potente. No solo permite que las chicas de anime se ajusten perfectamente a las líneas de control, sino que también puede crear personajes interdimensionales de estilos diferentes. Con esta herramienta, creemos que pronto veremos muchas obras de arte de IA asombrosas.
Página del proyecto: https://pbihao.github.io/projects/controlnext/index.html