FLATTEN
Optischer Fluss gesteuerte Aufmerksamkeit für konsistente Text-zu-Video-Bearbeitung
Normales ProduktBildText-zu-Video-BearbeitungOptischer Fluss
FLATTEN ist ein Plug-in für die optische Fluss gesteuerte Aufmerksamkeit bei der Text-zu-Video-Bearbeitung. Es behebt das Problem der Konsistenz bei der Text-zu-Video-Bearbeitung, indem es den optischen Fluss in das U-Net des Diffusionsmodells einführt. FLATTEN verbessert die visuelle Konsistenz bearbeiteter Videos, indem es erzwingt, dass Patches auf denselben optischen Flusswegen in verschiedenen Frames im Aufmerksamkeitsmodul aufeinander achten. Darüber hinaus ist FLATTEN trainingsfrei und lässt sich nahtlos in jede diffusionsbasierte Text-zu-Video-Bearbeitungsmethode integrieren und verbessert deren visuelle Konsistenz. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagener Ansatz die neuesten Ergebnisse auf bestehenden Benchmarks für die Text-zu-Video-Bearbeitung erzielt. Insbesondere zeichnet sich unser Ansatz durch die Beibehaltung der visuellen Konsistenz bearbeiteter Videos aus.
FLATTEN Neueste Verkehrssituation
Monatliche Gesamtbesuche
37
Absprungrate
41.38%
Durchschnittliche Seiten pro Besuch
1.0
Durchschnittliche Besuchsdauer
00:00:00