Kürzlich hat Stability AI die Einführung einer revolutionären Videoverarbeitungstechnologie angekündigt – Stable Video4D. Diese Technologie kann ein Video aus einer einzigen Perspektive in acht Videos mit unterschiedlichen Blickwinkeln umwandeln und bietet Schöpfern beispiellose Flexibilität und Kreativität.
Stable Video4D baut auf dem zuvor von dem Unternehmen eingeführten Stable Video Diffusion-Modell auf. Im Gegensatz zur Umwandlung von Bildern in Videos kann das neue Modell Videoeingaben empfangen und mehrere Videos mit neuen Perspektiven erzeugen. Dies stellt einen bedeutenden Sprung von der bildbasierten Videogenerierung zur vollständigen 3D-dynamischen Videozusammensetzung dar.
Der Benutzer muss lediglich ein Video hochladen und die gewünschten 3D-Kamerappositionen angeben. Stable Video4D generiert dann acht Videos mit neuen Perspektiven und bietet dem Benutzer einen umfassenden Mehrwinkelblick. Derzeit kann das Modell in etwa 40 Sekunden acht Videos mit jeweils fünf Bildern generieren. Der gesamte 4D-Optimierungsprozess dauert etwa 20 bis 25 Minuten.
Im Vergleich zu früheren Methoden kann Stable Video4D mehrere neue Perspektivvideos gleichzeitig generieren, wodurch die Konsistenz in Raum und Zeit deutlich verbessert wird. Dies gewährleistet nicht nur die Konsistenz von Objekten über mehrere Perspektiven und Zeitstempel hinweg, sondern ermöglicht auch ein leichteres 4D-Optimierungsframework.
Stability AI gibt an, dass sich Stable Video4D derzeit in der Forschungsphase befindet und zukünftig in Bereichen wie Spieleentwicklung, Videobearbeitung und Virtual Reality breite Anwendung finden könnte. Das Unternehmen optimiert das Modell aktiv, um eine größere Bandbreite an realen Videos verarbeiten zu können.
Stable Video4D ist jetzt auf der Hugging Face-Plattform verfügbar. Stability AI hofft, durch kontinuierliche Forschung und Entwicklung das Potenzial dieser Technologie zur Erstellung realistischer Mehrwinkelvideos weiter zu verbessern. Das Unternehmen wird weiterhin mit Forschern, Experten und der Community zusammenarbeiten, um technologische Innovationen voranzutreiben und die Modellleistung kontinuierlich zu verbessern.
Modell-Adresse: https://huggingface.co/stabilityai/sv4d
