Video-Neurendering
Video-Neurendering: Textgesteuerte Video-zu-Video-Übersetzung ohne Beispiele
Normales ProduktVideoVideoRendering
Video-Neurendering ist ein neuartiges, textgesteuertes Framework für die Video-zu-Video-Übersetzung ohne Beispiele, das Bildmodelle auf den Videobereich anwendet. Das Framework besteht aus zwei Teilen: Schlüsselbildübersetzung und vollständige Videoübersetzung. Im ersten Teil werden mithilfe eines adaptiven Diffusionsmodells Schlüsselbilder generiert und hierarchische, übergreifende Frame-Constraints angewendet, um die Konsistenz von Form, Textur und Farbe sicherzustellen. Im zweiten Teil werden die Schlüsselbilder durch zeitbasiertes Patch-Matching und Frame-Mixing auf andere Frames übertragen. Unser Framework erreicht kostengünstig eine zeitliche Konsistenz von globalem Stil und lokalen Texturen (ohne erneutes Training oder Optimierung). Diese Adaptivität ist mit bestehenden Bilddiffusionstechnologien kompatibel, sodass unser Framework diese nutzen kann, z. B. die Verwendung von LoRA zur Anpassung an bestimmte Themen und die Verwendung von ControlNet zur Einführung zusätzlicher räumlicher Führung. Umfangreiche Experimente belegen die Effektivität unseres vorgeschlagenen Frameworks bei der Erzeugung qualitativ hochwertiger und zeitlich konsistenter Videos.
Video-Neurendering Neueste Verkehrssituation
Monatliche Gesamtbesuche
7523
Absprungrate
46.77%
Durchschnittliche Seiten pro Besuch
2.0
Durchschnittliche Besuchsdauer
00:01:28