Die Fortschritte in der Bild-Relighting-Technologie der letzten Jahre sind auf umfangreiche Datensätze und vortrainierte Diffusionsmodelle zurückzuführen, wodurch die Anwendung konsistenter Beleuchtung immer verbreiteter wird. Im Bereich der Video-Relighting-Technologie hingegen ist der Fortschritt aufgrund hoher Trainingskosten und des Mangels an vielfältigen und hochwertigen Datensätzen relativ langsam.
Eine einfache frameweise Anwendung von Bild-Relighting-Modellen auf Videos führt zu verschiedenen Problemen, wie z. B. inkonsistente Lichtquellen und inkonsistente Relighting-Ergebnisse, was letztendlich zu Flimmern im generierten Video führt.
Um dieses Problem zu lösen, hat das Forschungsteam Light-A-Video vorgestellt, eine trainingsfreie Methode zur Erzeugung zeitlich glatter Video-Relighting-Ergebnisse. Light-A-Video nutzt Bild-Relighting-Modelle und führt zwei Schlüsselmodule zur Verbesserung der Beleuchtungskohärenz ein.
Erstens wurde ein Modul für konsistente Licht-Aufmerksamkeit (Consistent Light Attention, CLA) entwickelt, das die Interaktion zwischen Frames innerhalb der Selbstaufmerksamkeits-Schicht verstärkt, um die Generierung konsistenter Hintergrundbeleuchtung zu stabilisieren.
Zweitens verwendet das Forschungsteam, basierend auf dem physikalischen Prinzip der Unabhängigkeit der Lichtübertragung, eine lineare Fusionsstrategie, um das Aussehen des Quellvideos mit dem Relighting-Aussehen zu mischen. Die progressive Lichtfusion (Progressive Light Fusion, PLF) stellt einen zeitlich gleichmäßigen Übergang der Beleuchtung sicher.
In Experimenten zeigte Light-A-Video eine deutliche Verbesserung der zeitlichen Konsistenz von Relighting-Videos bei gleichzeitiger Beibehaltung der Bildqualität und Gewährleistung eines konsistenten Beleuchtungsübergangs zwischen Frames. Der Rahmen zeigt den Verarbeitungsprozess des Quellvideos: Zuerst wird das Quellvideo verrauscht, dann wird es schrittweise mit dem VDM-Modell entrauscht. In jedem Schritt repräsentiert die vorhergesagte rauschfreie Komponente die Entrausrichtung des VDM und dient als konsistentes Ziel. Auf dieser Grundlage injiziert das Modul für konsistente Licht-Aufmerksamkeit einzigartige Beleuchtungs-Informationen und wandelt es in ein Relighting-Ziel um. Schließlich werden die beiden Ziele mit der progressiven Lichtfusionsstrategie zu einem fusionierten Ziel kombiniert, das dem aktuellen Schritt eine genauere Richtung vorgibt.
Der Erfolg von Light-A-Video zeigt nicht nur das Potenzial der Video-Relighting-Technologie, sondern weist auch den Weg für zukünftige Forschung.
https://bujiazi.github.io/light-a-video.github.io/
Wichtigste Punkte:
🌟 Light-A-Video ist eine trainingsfreie Technik, die die zeitliche Konsistenz von Video-Relighting zum Ziel hat.
🎥 Durch die Verwendung eines Moduls für konsistente Licht-Aufmerksamkeit und einer progressiven Lichtfusionsstrategie werden Probleme mit inkonsistenten Lichtquellen bei der Video-Relighting behoben.
📈 Experimente zeigen, dass Light-A-Video die zeitliche Konsistenz und die Bildqualität von Relighting-Videos deutlich verbessert.
