Como se sabe, el modelo ControlNet SD1.5 no es compatible con SDXL. Entonces, ¿cómo usamos ControlNet con SDXL? No te preocupes, este tutorial te enseñará cómo usar ControlNet con SDXL usando Canny como ejemplo.
Actualizar nuestro ControlNet
Primero, actualicemos nuestro ControlNet. En el paquete integrado de Akiha, haz clic en Gestión de versiones -> Extensiones -> Actualización con un clic.
También puedes hacerlo en WebUI -> Extensiones -> Instaladas -> Comprobar actualizaciones -> Aplicar -> Reiniciar WebUI.
Descargar el modelo de control SDXL
Puedes descargar el modelo ControlNet para SDXL a través del siguiente enlace:
lllyasviel/sd_control_collection at main (huggingface.co)
Puedes colocar el modelo en:
stable-diffusion-webui\extensions\sd-webui-controlnet\models
o
stable-diffusion-webui\models\ControlNet
Pero con tantos modelos disponibles, ¿cómo elegimos?
Modelo Canny
Usaremos el modelo Canny como ejemplo. No necesitamos descargar todos los modelos; ya he probado la calidad y velocidad de generación de estos modelos.
Prueba de velocidad
Tamaño del modelo
Aunque `diffusers_xl_canny_full` ofrece una excelente calidad, desafortunadamente es el más grande (2.5 GB) y también el más lento. Si solo te importa la calidad y tienes un buen equipo, puedes considerarlo.
El modelo de control `kohya_controllllite` es muy pequeño. A pesar de su pequeño tamaño, su rendimiento es excelente.
Recomendaciones para Canny SDXL
Si te satisface su gran tamaño y velocidad más baja, usa `diffusers_xl_canny_full`.
Si necesitas un modelo más pequeño y rápido y puedes aceptar pequeños cambios de estilo, usa `kohya_controllllite_xl_canny`.
Usa `sai_xl_canny_128lora` para un tamaño de archivo razonable, reduciendo al mismo tiempo los cambios de estilo.
El parámetro de peso de control es crucial para generar buenas imágenes. La mayoría de los modelos requieren que sea inferior a 1.
-------------------------------------------------------------------------------------------
Para aprender más tutoriales de IA, visita nuestro sitio web de tutoriales: