Con el auge del arte digital, las técnicas automatizadas de procesamiento de imágenes están recibiendo cada vez más atención. Recientemente, un equipo de investigación de la Universidad Tsinghua y el laboratorio Tencent ARC presentó un nuevo modelo de coloreado de secuencias de imágenes llamado ColorFlow. Este modelo tiene como objetivo resolver el problema de colorear secuencias de imágenes en blanco y negro manteniendo la consistencia de la identidad de los personajes y objetos, satisfaciendo las necesidades reales de industrias como el cómic y la animación.
ColorFlow es un marco de difusión de tres etapas que utiliza plenamente la información contextual y genera colores precisos para secuencias de imágenes en blanco y negro mediante un grupo de imágenes de referencia. Por ejemplo, el modelo puede colorear eficazmente el cabello y la ropa de los personajes, asegurando la coherencia del color con las imágenes de referencia. A diferencia de las técnicas anteriores que requieren un ajuste fino para cada personaje, ColorFlow simplifica el proceso de generación de color mediante un innovador pipeline de coloreado mejorado por recuperación con una potente capacidad de generalización.
El diseño del modelo incluye dos ramas principales: una rama para extraer la identidad del color y otra rama para el proceso de coloreado real. Este diseño de doble rama aprovecha al máximo las ventajas de los modelos de difusión y puede lograr un potente aprendizaje contextual y una coincidencia de identidad de color mediante un mecanismo de autoatención. Para verificar la eficacia de ColorFlow, el equipo de investigación también lanzó ColorFlow-Bench, un benchmark integral específicamente diseñado para tareas de coloreado basadas en imágenes de referencia.
En los experimentos comparativos, ColorFlow superó a los modelos avanzados existentes en varios indicadores, mostrando una mayor calidad estética y generando colores más cercanos a las imágenes originales. El equipo de investigación mostró los resultados de ColorFlow en diferentes escenarios artísticos, incluyendo cómics en blanco y negro, arte lineal, fotografías del mundo real y storyboards de dibujos animados, obteniendo resultados satisfactorios en todos ellos.
El lanzamiento de ColorFlow no solo establece un nuevo estándar para las técnicas de coloreado automático de secuencias de imágenes, sino que también proporciona un fuerte apoyo para el desarrollo de la industria del arte. El equipo de investigación espera que esta tecnología se pueda implementar más ampliamente en aplicaciones prácticas, impulsando la innovación y el progreso de la creación de arte digital.
Enlace al proyecto:https://zhuang2002.github.io/ColorFlow/
Puntos clave:
🌟 ColorFlow es un innovador modelo de coloreado de secuencias de imágenes en blanco y negro que mantiene la consistencia de la identidad de los personajes.
🎨 El modelo utiliza un diseño de doble rama, una para la extracción de la identidad del color y otra para el coloreado real, mejorando la eficacia y eficiencia del coloreado.
🏆 ColorFlow supera a los modelos avanzados existentes en varios indicadores, mostrando una mayor calidad estética y utilidad.