Motion-I2V
Ein kontrollierbares Framework zur Bild-zu-Video-Generierung
Normales ProduktBildBildgenerierungVideogenerierung
Motion-I2V ist ein neuartiges Framework für die konsistente und kontrollierbare Bild-zu-Video-Generierung (I2V). Im Gegensatz zu bisherigen Methoden, die komplexe Bild-zu-Video-Mappings direkt erlernen, zerlegt Motion-I2V I2V in zwei Stufen und verwendet explizite Bewegungsmodellierung. In der ersten Stufe schlagen wir einen diffusionsbasierten Bewegungsfeld-Prädiktor vor, der sich auf die Inferenz der Trajektorien von Referenzbild-Pixeln konzentriert. In der zweiten Stufe schlagen wir eine verbesserte bewegungsgesteuerte zeitliche Aufmerksamkeit vor, um die begrenzte eindimensionale zeitliche Aufmerksamkeit in Videopotential-Diffusionsmodellen zu verbessern. Dieses Modul kann unter Anleitung der in der ersten Stufe vorhergesagten Trajektorien die Referenzbild-Merkmale effektiv auf synthetische Frames übertragen. Im Vergleich zu bestehenden Methoden generiert Motion-I2V auch bei großen Bewegungen und Perspektivänderungen konsistentere Videos. Durch das Trainieren eines spärlichen Trajektorien-Steuerungsnetzwerks für die erste Stufe kann Motion-I2V die präzise Steuerung von Bewegungstrajektorien und Bewegungsbereichen mit der Fähigkeit zur Steuerung durch spärliche Trajektorien- und Bereichsanmerkungen unterstützen. Dies ist kontrollierbarer als die ausschließliche Abhängigkeit von Textbeschreibungen. Darüber hinaus unterstützt die zweite Stufe von Motion-I2V auf natürliche Weise die Zero-Shot-Video-zu-Video-Konvertierung. Qualitative und quantitative Vergleiche zeigen, dass Motion-I2V im Hinblick auf konsistente und kontrollierbare Bild-zu-Video-Generierung bestehende Methoden übertrifft.
Motion-I2V Neueste Verkehrssituation
Monatliche Gesamtbesuche
1028
Absprungrate
43.70%
Durchschnittliche Seiten pro Besuch
1.6
Durchschnittliche Besuchsdauer
00:00:26