Am 10. März 2025 wurde die innovative Technologie TrajectoryCrafter vorgestellt und hat sowohl die Technologiebranche als auch die Videoproduktionswelt in ihren Bann gezogen. Diese auf Diffusionsmodellen basierende Technologie ermöglicht die Inferenz und Generierung neuer Perspektiven aus einzelnen, einäugigen Videos und revolutioniert damit die Videopostproduktion.
Das Herzstück von TrajectoryCrafter ist seine leistungsstarke Fähigkeit zur Perspektivenumorientierung. Herkömmliche einäugige Videos sind auf die Perspektive einer einzigen Kamera beschränkt, was es den Erstellern oft unmöglich macht, Aufnahmewinkel oder Kameraführung im Nachhinein zu ändern. TrajectoryCrafter hingegen nutzt die Deep-Learning-Technologie von Diffusionsmodellen, um Videoinhalte zu analysieren und dreidimensionale Raumdaten abzuleiten. Dies erlaubt Nutzern, die Kameraposition und den Winkel nachträglich frei anzupassen. Ob Rotation um ein Objekt, Nahaufnahme von Details oder Fernansicht für Panoramablicke – die Technologie meistert dies mühelos. Besonders spannend ist die Möglichkeit, Effekte wie „Bullet Time“ zu erzeugen: Die Zeit wird eingefroren, während die Kamera um das Motiv rotiert – ein visuell beeindruckendes Erlebnis.
Darüber hinaus unterstützt TrajectoryCrafter die Anpassung der Kamera mit sechs Freiheitsgraden (6DoF). Das bedeutet, dass Benutzer nicht nur die Vorwärts-, Rückwärts-, Links- und Rechtsbewegung steuern können, sondern auch die Nick-, Gier- und Rollwinkel. Diese Flexibilität bietet Videobearbeitern beispiellose kreative Freiheit. Ein einfaches Handyvideo kann so nach der Bearbeitung mit TrajectoryCrafter wie von professionellen Kameras aus verschiedenen Winkeln aufgenommen aussehen.
Die Entwickler haben auf ihrer öffentlichen Webseite mehrere beeindruckende Beispiele präsentiert. So wurde aus einem einäugigen Video einer Straßenaufführung mit TrajectoryCrafter die Perspektive des Zuschauers aus verschiedenen Winkeln nachgebildet, inklusive einer simulierten Kamerafahrt von unten nach oben. Die Demoversionen zeigen auch, dass die Technologie komplexe dynamische Szenen verarbeiten und die zeitliche und räumliche Konsistenz der generierten Perspektiven gewährleisten kann.
Derzeit sind der Code und die Demos von TrajectoryCrafter online verfügbar, damit Entwickler und Forscher sie testen können. Diese Technologie fördert nicht nur den Fortschritt der künstlichen Intelligenz im Bereich der Videogenerierung, sondern bietet auch normalen Nutzern kreativere Werkzeuge. Branchenexperten prognostizieren, dass TrajectoryCrafter die Art und Weise verändern könnte, wie Kurzvideos erstellt, Filme nachbearbeitet und sogar virtuelle Realität Inhalte generiert werden.
TrajectoryCrafter Webseite: https://trajectorycrafter.github.io/
TrajectoryCrafter Online-Test: https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter