Adobe vient d'annoncer un nouvel outil de création : Adobe Firefly Video Model. Cet outil représente une tentative audacieuse d'Adobe dans le domaine de la génération de vidéos par IA, s'appuyant sur son modèle d'IA générative d'images Firefly existant.
Adobe affirme que ce modèle a bénéficié d'une formation éthique et utilise des données appartenant à l'entreprise ou pour lesquelles elle détient une licence d'utilisation, garantissant ainsi la sécurité du contenu généré.
Cependant, certains créateurs d'Adobe Stock ont exprimé des réserves, estimant que leurs œuvres téléchargées n'étaient pas destinées à être utilisées pour entraîner des modèles d'IA, et pourraient même entrer en concurrence avec leur propre style.
Adobe Firefly Video Model devrait entrer en phase de test plus tard cette année. L'entreprise a déjà ouvert une liste d'attente pour un accès anticipé, auquel les personnes intéressées peuvent s'inscrire.
En termes de fonctionnalités, il prend non seulement en charge la génération de vidéos à partir de texte et l'image vers vidéo, mais il dispose également de fonctionnalités d'édition vidéo, bien que chaque segment généré soit limité à 5 secondes maximum.
Exemples de génération de vidéos de haute qualité
Le blog officiel d'Adobe présente déjà des exemples de vidéos exceptionnelles générées, dont la qualité est impressionnante et qui respectent fidèlement les invites textuelles.
Grâce à la fonction texte-vers-vidéo de Firefly, il est possible d'utiliser des invites textuelles, divers contrôles de caméra et des images de référence pour générer des séquences B-Roll qui comblent parfaitement les vides de la timeline.
Par exemple, en entrant une description approximative de scène comme « gros plan sur un renne dans une forêt enneigée au coucher du soleil, lumière douce et féerique », le résultat vidéo est remarquable.
Invite précise : « Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical. »
De même, en entrant une description de scène comme « éruption volcanique au ralenti, caméra survolant la lave », le résultat est captivant.
Invite précise : « Slow-motion fiery volcanic landscape， with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic， dramatic， and high-contrast. »
Selon les informations officielles, Firefly Video Model excelle dans la génération de vidéos de nature. Lorsqu'un monteur manque de plans essentiels pour mettre en scène une séquence, il peut générer des insertions avec des mouvements de caméra, comme des paysages, des plantes ou des animaux.
Invite : Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.
De plus, pour ajouter des plans supplémentaires, il est possible d'utiliser des clips générés à partir d'images de référence pour combler les vides de la timeline.
Par exemple, une vidéo originale :
Peut être complétée par Firefly Video Model :
Invite : Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
Il est également possible d'utiliser de nombreux contrôles de caméra (angle, mouvement et zoom) pour créer des points de vue parfaits sur les vidéos générées.
Par exemple, pour générer une vue aérienne avec un drone,invite : Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
Pour les décideurs, le modèle vidéo Firefly d'Adobe pourrait être un choix très attractif, notamment pour les entreprises souhaitant créer des vidéos pour la formation des employés ou le marketing.
Adobe offre également une protection juridique aux utilisateurs, même en cas de litige pour violation de droits d'auteur lors de l'utilisation de son modèle d'IA, bien que cela ne soit pas encore clairement précisé pour Firefly Video.
Depuis le lancement d'Adobe Firefly en mars 2023, Adobe a fait de ce modèle la pierre angulaire de nouvelles fonctionnalités d'IA dans sa suite logicielle Creative Cloud, largement utilisée.
Les outils Firefly sont déjà intégrés à des applications populaires telles que Photoshop, Illustrator et Lightroom, offrant aux utilisateurs des fonctionnalités telles que Generative Fill, Generative Remove et Text-to-Template.
Selon Adobe, plus de 12 milliards d'images et de vecteurs ont été générés avec Firefly depuis son lancement, ce qui en fait l'une des innovations les plus rapidement adoptées de l'entreprise.
Ashley Still, dirigeante du projet chez Adobe, a déclaré que l'entreprise « travaille en étroite collaboration avec la communauté des monteurs vidéo pour faire progresser Firefly Video Model ».
Plus que la génération de vidéos par IA
Par ailleurs, le modèle vidéo Firefly ne se limite pas à la génération de nouvelles vidéos, il possède également des fonctionnalités d'édition IA permettant de supprimer des éléments indésirables, de créer des transitions parfaites, etc.
Avec l'essor des vidéos courtes et la compression des délais de production, Adobe espère que ces outils aideront les monteurs à accélérer leur processus de production tout en maintenant une qualité de sortie élevée.
Le modèle Firefly d'Adobe résout ce problème en fournissant des outils qui aident les monteurs non seulement à monter des plans, mais aussi à gérer la correction des couleurs, l'animation et les effets visuels.
Ce modèle prend également en charge une large gamme d'effets créatifs, notamment la génération de séquences B-Roll, de gros plans et d'éléments atmosphériques (tels que le feu, la fumée ou l'eau) mentionnés ci-dessus, que les utilisateurs peuvent superposer à des plans préenregistrés ou animés.
Une fonctionnalité phare qui sera disponible dans Premiere Pro plus tard cette année est Generative Extend. Cette fonctionnalité permettra aux monteurs de prolonger les clips vidéo, de combler les lacunes dans les plans ou de créer des transitions fluides – aidant à synchroniser les clips avec le rythme de l'audio et d'autres éléments visuels.
Adobe illustre cette capacité en montrant comment Generative Extend peut prolonger la durée d'un clip pour s'aligner parfaitement sur le crescendo musical :
Résultat après montage :
Adobe explore également constamment comment intégrer l'IA dans davantage de workflows de création, espérant que ces nouveaux outils permettront aux créateurs de consacrer plus de temps à l'exploration créative, améliorant ainsi la qualité globale des projets.
Blog officiel : https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
Points clés :
🌟 Le modèle vidéo Firefly d'Adobe prend en charge les fonctionnalités texte-vers-vidéo, image-vers-vidéo et d'édition vidéo, et devrait entrer en phase de test plus tard cette année.
🎥 Les vidéos générées en amont présentent une qualité étonnante et une grande fidélité aux invites textuelles, attirant l'attention de nombreux créateurs.
📈 Adobe offre une protection juridique aux utilisateurs, aidant les entreprises à éviter les risques de violation de droits d'auteur lors de la création de vidéos par IA.