Recientemente, el equipo de investigación del grupo Alibaba lanzó un nuevo marco llamado UniPortrait, que se centra en el procesamiento personalizado de imágenes de retratos, logrando consistencia de un solo personaje, consistencia de múltiples personajes y referencia de estilo.
Este marco no solo puede procesar imágenes de una sola identidad, sino que también permite una personalización de alta calidad en escenas con múltiples personajes. UniPortrait se caracteriza por mantener la alta fidelidad de las características faciales y admite una amplia gama de funciones de edición facial. Los usuarios incluso pueden usar descripciones de texto de forma libre para generar las imágenes que desean, sin necesidad de un diseño fijo.
Consistencia de un solo personaje
El núcleo de UniPortrait consta de dos módulos: el módulo de incrustación de ID y el módulo de enrutamiento de ID. El módulo de incrustación de ID se encarga de extraer las características faciales editables de cada identidad y las incrusta de forma desacoplada en el espacio de contexto del modelo de difusión. Luego, el módulo de enrutamiento de ID combina y asigna estas características de forma adaptativa según las diferentes áreas de la síntesis de imágenes, logrando así la personalización de una o varias identidades.
Consistencia de múltiples personajes
Durante el entrenamiento, UniPortrait emplea un esquema de entrenamiento de dos etapas cuidadosamente diseñado. La primera etapa se centra en el entrenamiento de una sola identidad, mientras que la segunda etapa realiza un ajuste fino de múltiples identidades. Gracias a este método de entrenamiento, UniPortrait supera a los métodos existentes en el rendimiento de personalización de identidades únicas y múltiples. Los resultados experimentales también muestran su buena escalabilidad y compatibilidad generalizada con las herramientas de control de generación existentes.
El lanzamiento de UniPortrait ha abierto nuevas posibilidades para la personalización de imágenes de retratos, especialmente en la generación de indicaciones de forma libre y diseños diversos. El equipo de investigación ha mostrado varios ejemplos de personalización de identidades únicas y múltiples, mostrando el enorme potencial de este marco en aplicaciones prácticas. En resumen, UniPortrait no solo mejora la calidad de la generación de imágenes, sino que también allana el camino para diversas aplicaciones futuras.
Acceso al proyecto del producto: https://top.aibase.com/tool/uniportrait
Acceso a la prueba: https://huggingface.co/spaces/Junjie96/UniPortrait
Puntos clave:
🌟UniPortrait es un marco completamente nuevo que se centra en el procesamiento personalizado de imágenes de una o varias identidades, con una alta retención de la fidelidad de las características faciales.
✍️ Este marco consta de un módulo de incrustación de ID y un módulo de enrutamiento de ID, y utiliza un esquema de entrenamiento de dos etapas para lograr una personalización eficiente.
🚀 UniPortrait ofrece amplias posibilidades para la personalización de retratos, admitiendo descripciones de texto libre y la generación de diseños diversos.