Ces dernières années, les progrès de la technologie de rééclairage d'images ont bénéficié de l'essor des ensembles de données massifs et des modèles de diffusion pré-entraînés, rendant l'application d'un éclairage cohérent plus répandue. Cependant, dans le domaine du rééclairage vidéo, les progrès ont été relativement lents en raison des coûts de formation élevés et du manque de données de rééclairage vidéo diversifiées et de haute qualité.
L'application simple de modèles de rééclairage d'images image par image à la vidéo entraîne plusieurs problèmes, tels que l'incohérence des sources lumineuses et de l'apparence rééclairée, ce qui conduit finalement à un scintillement dans la vidéo générée.
Pour résoudre ce problème, l'équipe de recherche a proposé Light-A-Video, une méthode sans entraînement permettant un rééclairage vidéo temporellement lisse. Light-A-Video s'inspire des modèles de rééclairage d'images et introduit deux modules clés pour améliorer la cohérence de l'éclairage.
Premièrement, les chercheurs ont conçu un module d'attention lumineuse cohérente (Consistent Light Attention, CLA), qui améliore l'interaction inter-images au sein des couches d'auto-attention pour stabiliser la génération de la source lumineuse de fond.
Deuxièmement, basé sur le principe physique de l'indépendance de la transmission de la lumière, l'équipe de recherche utilise une stratégie de fusion linéaire pour mélanger l'apparence de la vidéo source avec l'apparence rééclairée, en utilisant une stratégie de fusion lumineuse progressive (Progressive Light Fusion, PLF) pour assurer une transition d'éclairage temporellement lisse.
Dans les expériences, Light-A-Video a démontré une amélioration significative de la cohérence temporelle des vidéos rééclairées, tout en maintenant la qualité de l'image et en assurant une transition d'éclairage cohérente entre les images. Le cadre montre le processus de traitement de la vidéo source : d'abord, la vidéo source est traitée pour le bruit, puis elle subit un processus de dé-bruitage progressif par le modèle VDM. À chaque étape, la composante sans bruit prédite représente la direction de dé-bruitage du VDM et sert d'objectif cohérent. Sur cette base, le module d'attention lumineuse cohérente injecte des informations d'éclairage uniques, le transformant en objectif de rééclairage. Enfin, la stratégie de fusion lumineuse progressive combine les deux objectifs pour former un objectif fusionné, fournissant ainsi une direction plus précise pour l'étape actuelle.
Le succès de Light-A-Video démontre non seulement le potentiel de la technologie de rééclairage vidéo, mais indique également la voie à suivre pour les recherches futures.
https://bujiazi.github.io/light-a-video.github.io/
Points clés :
🌟 Light-A-Video est une technique sans entraînement visant à obtenir une cohérence temporelle dans le rééclairage vidéo.
🎥 Elle utilise un module d'attention lumineuse cohérente et une stratégie de fusion lumineuse progressive pour résoudre le problème de l'incohérence des sources lumineuses dans le rééclairage vidéo.
📈 Les expériences montrent que Light-A-Video améliore considérablement la cohérence temporelle et la qualité d'image des vidéos rééclairées.