Adobe hat kürzlich ein brandneues Kreativtool angekündigt – das Adobe Firefly Video Model. Dieses neue Tool ist ein mutiger Schritt von Adobe im Bereich der KI-Videogenerierung und baut auf dem bestehenden Firefly-generativen KI-Bildmodell auf.
Adobe erklärt, dass dieses Modell ethisch trainiert wurde und die verwendeten Daten entweder im Besitz des Unternehmens sind oder über eine Nutzungslizenz verfügen. Dies gewährleistet die Sicherheit der generierten Inhalte.
Einige Adobe Stock-Autoren haben jedoch Einwände erhoben. Sie argumentieren, dass sie beim Hochladen ihrer Werke nicht damit gerechnet haben, dass diese zum Trainieren von KI-Modellen verwendet werden, die sogar mit ihrem Stil konkurrieren könnten.
Das Adobe Firefly Video Model soll später in diesem Jahr in die Testphase gehen. Derzeit bietet das Unternehmen eine Warteliste für den frühzeitigen Zugriff an, auf die sich Interessierte anmelden können.
Funktional unterstützt es nicht nur die Text-zu-Video- und Bild-zu-Video-Generierung, sondern auch die Videobearbeitung. Die Länge der generierten Clips ist jedoch auf maximal 5 Sekunden begrenzt.
Beispiele für hochwertige Videogenerierung
Auf dem offiziellen Adobe-Blog werden bereits einige beeindruckende Beispiele für frühzeitig generierte Videos gezeigt. Die Qualität der Inhalte ist erstaunlich, und die Genauigkeit der Umsetzung der Textanweisungen ist sehr hoch.
Mit Firefly Text-zu-Video können beispielsweise Textanweisungen, verschiedene Kamerasteuerungen und Referenzbilder verwendet werden, um Lücken in der Timeline nahtlos mit B-Roll-Material zu füllen.
So liefert beispielsweise die Eingabe einer groben Szene wie „Nahaufnahme eines Rentiers in einem verschneiten Wald bei Sonnenuntergang, traumhaft weiches Licht“ ein beeindruckendes Ergebnis.
Genauer Prompt: „Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.“
Auch die Eingabe einer Szene wie „Zeitlupe eines Vulkanausbruchs, Kamera fliegt über die Lava“ liefert ein fesselndes Ergebnis.
Genauer Prompt: „Slow-motion fiery volcanic landscape， with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic， dramatic， and high-contrast.“
Laut offiziellen Angaben eignet sich das Firefly Video Model besonders gut für die Generierung von Videos aus der Natur. Wenn wichtige Establishing-Shots fehlen, können mit Kamerabewegungen versehene Einstellungsaufnahmen von Landschaften, Pflanzen oder Tieren generiert werden.
Prompt: Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.
Zusätzlich können fehlende Aufnahmen mit Clips generiert werden, die auf Referenzframes basieren, um Lücken in der Timeline zu schließen.
Beispiel für ein Originalvideo:
Ergänzendes Video mit Hilfe von Firefly Video Model:
Prompt: Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
Darüber hinaus können mit umfangreichen Kamerasteuerungen (wie Winkel, Bewegung und Zoom) perfekte Perspektiven in den generierten Videos erstellt werden.
Beispiel für eine Drohnenperspektive:Prompt: Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
Für Unternehmensentscheider könnte das Adobe Firefly Video Model eine sehr attraktive Option sein, insbesondere für Unternehmen, die Videos für Mitarbeiterschulungen oder Marketingzwecke erstellen möchten.
Adobe bietet Nutzern auch rechtlichen Schutz. Selbst bei Urheberrechtsverletzungen im Zusammenhang mit der Nutzung des KI-Modells bietet Adobe Schutz, obwohl noch nicht klargestellt ist, ob dies auch für Firefly Video gilt.
Seit der Einführung von Adobe Firefly im März 2023 hat Adobe das Modell als Grundlage für neue KI-Funktionen in seiner weit verbreiteten Creative Cloud-Software-Suite verwendet.
Firefly-Tools sind bereits in beliebten Anwendungen wie Photoshop, Illustrator und Lightroom integriert und bieten Funktionen wie Generative Fill, Generative Remove und Text-to-Template.
Laut Adobe wurden seit der Einführung über 12 Milliarden Bilder und Vektorgrafiken mit Firefly generiert, was es zu einer der am schnellsten angenommenen Innovationen des Unternehmens macht.
Ashley Still, die Adobe-Führungskraft, die das Projekt leitet, sagte, das Unternehmen „arbeite eng mit der Videobearbeitungs-Community zusammen, um das Firefly Video Model voranzutreiben.“
Nicht nur KI-Videogenerierung
Das Firefly Video Model dient nicht nur der Generierung neuer Videos, sondern bietet auch KI-basierte Bearbeitungsfunktionen wie das Entfernen unerwünschter Elemente und perfekte Übergänge.
Mit dem Aufkommen von Kurzvideos und dem Zeitdruck bei der Produktion möchte Adobe mit diesen Tools Bearbeitern helfen, den Produktionsprozess zu beschleunigen und gleichzeitig eine hohe Ausgabequalität zu gewährleisten.
Das Adobe Firefly Video Model löst dieses Problem, indem es Bearbeitern Tools bietet, mit denen sie nicht nur Clips schneiden, sondern auch Farbkorrekturen, Animationen und visuelle Effekte verwalten können.
Das Modell unterstützt auch eine breite Palette kreativer Effekte, darunter die oben genannten generierten B-Roll-Aufnahmen, Makroaufnahmen und atmosphärische Elemente (wie Feuer, Rauch oder Wasser), die auf vorab aufgenommene oder animierte Aufnahmen gelegt werden können.
Eine herausragende Funktion, die später in diesem Jahr in Premiere Pro erscheinen wird, ist Generative Extend. Diese Funktion ermöglicht es Bearbeitern, Videoclips zu verlängern, Lücken in Aufnahmen zu füllen oder Übergänge zu glätten – um Clips mit dem Rhythmus von Audio und anderen visuellen Elementen abzustimmen.
Adobe zeigt diese Fähigkeit, indem es demonstriert, wie Generative Extend die Dauer eines Clips verlängern kann, um perfekt mit dem Höhepunkt der Musik übereinzustimmen:
Endergebnis nach der Bearbeitung:
Adobe forscht auch weiterhin daran, KI in weitere kreative Arbeitsabläufe zu integrieren. Das Unternehmen hofft, dass diese neuen Tools den Erstellern mehr Zeit für kreative Entdeckungen geben und die Gesamtqualität der Projekte verbessern.
Offizieller Blog: https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
Wichtigste Punkte:
🌟 Das von Adobe eingeführte Firefly Video Model unterstützt die Funktionen Text-zu-Video, Bild-zu-Video und Videobearbeitung und soll später in diesem Jahr in die Testphase gehen.
🎥 Die Qualität der frühzeitig generierten Videos ist beeindruckend und zeigt eine hohe Genauigkeit bei der Umsetzung der Textanweisungen, was viele Kreative begeistert.
📈 Adobe bietet Nutzern rechtlichen Schutz und hilft Unternehmen, bei der Erstellung von Videos mit KI Urheberrechtsverletzungen zu vermeiden.