Avec le développement de l'art numérique, les techniques automatisées de traitement d'images suscitent un intérêt croissant. Récemment, une équipe de recherche de l'Université Tsinghua et du laboratoire Tencent ARC a proposé un nouveau modèle de coloration de séquences d'images appelé ColorFlow. Ce modèle vise à résoudre le problème de la coloration de séquences d'images en noir et blanc tout en maintenant la cohérence de l'identité des personnages et des objets, répondant ainsi aux besoins réels des industries de la bande dessinée et de l'animation.
ColorFlow est un framework de diffusion en trois étapes qui utilise pleinement les informations contextuelles et génère des couleurs précises pour les séquences d'images en noir et blanc à l'aide d'un pool d'images de référence. Par exemple, le modèle peut efficacement colorer les cheveux et les vêtements des personnages, garantissant la cohérence des couleurs avec l'image de référence. Contrairement aux techniques précédentes qui nécessitaient un réglage fin pour chaque personnage, ColorFlow simplifie le processus de génération de couleurs grâce à un pipeline de coloration amélioré par la recherche, innovant et doté d'une forte capacité de généralisation.
La conception du modèle comprend deux branches principales : une branche pour extraire l'identité des couleurs et une autre pour le processus de coloration proprement dit. Cette conception à deux branches tire pleinement parti des avantages des modèles de diffusion et permet, grâce à un mécanisme d'auto-attention, un apprentissage contextuel puissant et une correspondance de l'identité des couleurs. Pour valider l'efficacité de ColorFlow, l'équipe de recherche a également lancé ColorFlow-Bench, un benchmark complet spécialement conçu pour les tâches de coloration basées sur des images de référence.
Dans les expériences comparatives, ColorFlow a surpassé les modèles de pointe existants sur plusieurs indicateurs, démontrant une qualité esthétique supérieure et des couleurs générées plus fidèles à l'image d'origine. L'équipe de recherche a présenté les résultats de ColorFlow dans différents contextes artistiques, notamment les bandes dessinées en noir et blanc, l'art linéaire, les photos du monde réel et les storyboards de dessins animés, obtenant des résultats satisfaisants.
Le lancement de ColorFlow établit non seulement une nouvelle référence pour les techniques de coloration automatique des séquences d'images, mais apporte également un soutien important au développement futur de l'industrie artistique. L'équipe de recherche espère que cette technologie sera plus largement adoptée dans les applications pratiques, stimulant l'innovation et le progrès de la création artistique numérique.
Accès au projet : https://zhuang2002.github.io/ColorFlow/
Points clés :
🌟 ColorFlow est un modèle innovant de coloration de séquences d'images en noir et blanc, capable de maintenir la cohérence de l'identité des personnages.
🎨 Ce modèle utilise une conception à deux branches, l'une pour l'extraction de l'identité des couleurs et l'autre pour la coloration proprement dite, améliorant ainsi l'efficacité et les résultats de la coloration.
🏆 ColorFlow surpasse les modèles de pointe existants sur plusieurs indicateurs, démontrant une qualité esthétique et une utilité supérieures.