Lors de la création de vidéos captivantes, l'audio joue un rôle aussi important que les effets visuels. Cependant, trouver ou créer les effets sonores appropriés est souvent une tâche fastidieuse.
Lors de la conférence annuelle Adobe MAX, la société a présenté un prototype expérimental appelé Project Super Sonic. Cette technologie permet de générer des effets sonores à partir de texte, d'identifier les objets dans une vidéo et même d'utiliser votre propre voix pour créer rapidement des effets sonores et des ambiances pour vos projets vidéo.
Bien que la génération d'effets sonores à partir d'invites textuelles semble impressionnante, des entreprises comme ElevenLabs proposent déjà des services similaires sur le marché. Plus intéressant encore, Adobe pousse le concept plus loin en ajoutant deux autres méthodes de création de pistes audio. La première consiste à utiliser un modèle de reconnaissance d'objets : l'utilisateur peut cliquer sur n'importe quelle partie d'une image vidéo, et le système génère une suggestion d'effet sonore correspondante. Cette approche, qui combine plusieurs modèles en un seul workflow, est particulièrement intelligente.
Le troisième mode est le plus étonnant : l'utilisateur peut enregistrer sa propre imitation sonore (synchronisée avec la vidéo), et Project Super Sonic génère automatiquement les effets sonores appropriés. Justin Salamon, responsable de l'IA pour la conception sonore chez Adobe, a expliqué que l'équipe a commencé par un modèle texte-vers-audio, soulignant que tous les projets d'IA générative d'Adobe utilisent uniquement des données sous licence.
« Nous voulons vraiment que les utilisateurs maîtrisent le processus. C'est un outil conçu pour les créateurs, les concepteurs sonores et tous ceux qui souhaitent améliorer le son de leurs vidéos », explique Salamon. « Par conséquent, nous ne nous sommes pas contentés du workflow initial texte-vers-son, mais nous nous sommes efforcés de développer un outil offrant un contrôle précis. »
En termes de contrôle du son, l'outil analyse les différentes caractéristiques et le spectre fréquentiel de la voix de l'utilisateur pour guider le processus de génération. Salamon précise que bien que la démonstration utilise la voix humaine, les utilisateurs peuvent également enregistrer des claquements de mains ou des instruments de musique.
Il est important de noter que la conférence Adobe MAX présente toujours des « Sneaks », des fonctionnalités expérimentales en cours de développement chez Adobe, comme Project Super Sonic. Bien que de nombreux projets finissent par être intégrés à la suite Adobe Creative Cloud, il n'est pas garanti que tous soient lancés officiellement. Je pense que Project Super Sonic a de bonnes chances d'arriver à maturité, car la même équipe a également travaillé sur la partie audio du modèle d'IA générative Adobe Firefly, qui permet d'allonger la durée des courtes vidéos, y compris leurs pistes audio. Pour l'instant, Project Super Sonic n'en reste qu'une démonstration.
Points clés :
🎤 Project Super Sonic est un prototype expérimental utilisant l'IA pour aider les utilisateurs à générer rapidement des effets sonores pour leurs vidéos.
🎶 Les utilisateurs peuvent générer des effets sonores à partir de texte, de la reconnaissance d'objets vidéo et de l'imitation de sons, améliorant ainsi leur expérience de création.
🎥 Présenté lors de la conférence Adobe MAX parmi les projets Sneaks, Project Super Sonic pourrait rejoindre la future suite Creative Cloud.