Kürzlich haben die Tencent AI Labs und die ARC Labs von Tencent PCG ein neues Framework namens StereoCrafter vorgestellt, das gewöhnliche 2D-Videos in hochqualitative stereoskopische 3D-Videos umwandeln kann.
Diese Innovation reagiert auf die wachsende Nachfrage nach 3D-Inhalten, insbesondere im Bereich immersiver Erlebnisse. StereoCrafter nutzt die Vorteile von Basismodellen, überwindet die Grenzen traditioneller Konvertierungsmethoden und verbessert die Ergebnisse deutlich, um sicherzustellen, dass die generierten Inhalte den hohen Anforderungen verschiedener Anzeigegeräte gerecht werden.
Das System besteht im Wesentlichen aus zwei Hauptschritten. Der erste Schritt ist das Remapping von Videos basierend auf Tiefeninformationen, wobei gleichzeitig die Okklusionsinformationen extrahiert und die Videoumwandlung durchgeführt wird; der zweite Schritt ist die Reparatur von Stereobildern. Das System verwendet ein vorab trainiertes, stabiles Videodiffusionsmodell als Basis und führt ein Feinabstimmungsprotokoll für die Reparatur von Stereobildern ein. Um verschiedene Längen und Auflösungen von Videoeingaben zu verarbeiten, hat das Team auch autoregressive Strategien und Slice-Processing-Techniken untersucht, um sicherzustellen, dass das System flexibel an verschiedene Eingabebedingungen angepasst werden kann.
Zur Unterstützung des Trainings hat das Team eine komplexe Datenverarbeitungs-Pipeline aufgebaut und einen umfangreichen, hochwertigen Datensatz generiert. Während des Aufbaus des Datensatzes wählte das Forschungsteam aus einer Vielzahl von Stereobildern aus und generierte die entsprechenden Videotiefen, transformierten Videos und Okklusionsinformationen, wobei sichergestellt wurde, dass das rechte Video als echter Referenzstandard dient. Diese innovativen Methoden bieten eine praktikable Lösung für die Umwandlung von 2D-Videos in 3D-Videos, sodass Apple Vision Pro und andere 3D-Anzeigegeräte ein noch eindrucksvolleres immersives Erlebnis bieten können.
StereoCrafter ist nicht nur ein technologischer Durchbruch, sondern bringt auch eine potenzielle Veränderung der Art und Weise, wie digitale Medien erlebt werden, und könnte unsere Art, digitale Inhalte zu betrachten und zu erleben, verändern.
Projektseite:https://stereocrafter.github.io/
Wichtigste Punkte:
🌟 StereoCrafter wandelt 2D-Videos mithilfe neuer Technologien effizient in immersive stereoskopische 3D-Videos um.
🖥️ Das System besteht aus zwei Hauptschritten: Videorekonstruktion basierend auf Tiefeninformationen und Reparatur von Stereobildern, wodurch die Ergebnisse verbessert werden.
📊 Das Forschungsteam hat einen hochwertigen Datensatz erstellt, um das Algorithmentraining zu unterstützen und die Ausgabequalität zu gewährleisten.