港中文贾佳亚团队最新推出的ControlNeXt简直是AI界的"减肥神器"!这个开源图像/视频生成引导工具不仅体型小巧,与Stable Diffusion家族的常见模型如SDXL、SD1.5等完美适配,而且还是即插即用的,大大简化了使用过程。

image.png

ControlNeXt支持多种控制模式,包括边缘引导、姿势控制、遮罩和景深控制等。它甚至可以让钢铁侠跳起美女舞蹈,动作精准到手指,展示了其强大的控制能力。

ControlNeXt的"减肥秘诀"在于它巧妙地移除了ControlNet中的"大胃王"控制分支,换成了由少量ResNet块组成的"轻食套餐"。这个小巧玲珑的模块虽然只有原来十分之一的体积,却能完美地提取各种控制条件的特征。

QQ截图20240818145321.png

不仅如此,ControlNeXt还是个"学习天才"。它只需要400步就能学会新技能,而ControlNet却需要磨蹭个几千步。在生成速度上,ControlNeXt更是一骑绝尘,仅带来10.4%的延时,而ControlNet则需要整整41.9%。

ControlNeXt的另一个"独门绝技"是交叉归一化。这项技术就像是给特征们开了个"联谊派对",让它们的数据分布尽量对齐,从而避免了参数初始化的敏感性,还能让控制条件在训练初期就发挥作用。

ControlNeXt就像是AI界的"变形金刚",小巧灵活yet功能强大。它不仅能让二次元少女完美贴合控制线条,还能创造出风格迥异的跨次元角色。有了这个神器,相信很快我们就能看到更多令人惊叹的AI艺术作品了!

项目主页:https://pbihao.github.io/projects/controlnext/index.html