Récemment, Adobe Research et la Northwestern University ont collaboré pour développer Sketch2Sound, un système d'intelligence artificielle révolutionnant le travail des concepteurs sonores. Sketch2Sound permet aux utilisateurs de créer des effets sonores et des ambiances professionnelles en humant, imitant des sons ou en utilisant de simples descriptions textuelles.
Ce système analyse trois éléments clés de l'entrée vocale de l'utilisateur : le volume, le timbre (qui détermine la luminosité ou l'obscurité du son) et la hauteur. Il combine ensuite ces caractéristiques avec la description textuelle de l'utilisateur pour générer le son souhaité. Par exemple, si l'utilisateur saisit « ambiance forestière » et émet un son bref, le système identifiera automatiquement ce son comme un chant d'oiseau, sans instruction spécifique.
Un autre point fort de Sketch2Sound est sa capacité à comprendre le contexte. Lors de la création de musique, l'utilisateur peut saisir « grosse caisse, caisse claire » et fredonner un rythme. Le système placera intelligemment la grosse caisse sur les notes graves et la caisse claire sur les notes aiguës. Ce traitement intelligent simplifie considérablement le processus de conception sonore.
Pour répondre aux besoins des professionnels, l'équipe de recherche a intégré une technologie de filtrage spéciale permettant aux utilisateurs d'ajuster la précision du son généré. Les concepteurs sonores peuvent choisir un contrôle très précis ou une approche plus décontractée et approximative. Cette flexibilité pourrait rendre Sketch2Sound particulièrement populaire auprès des artistes Foley. Ces professionnels, chargés de créer les effets sonores pour les films et les émissions de télévision, pourront créer des effets plus rapidement grâce à la voix et à la description textuelle, sans avoir à manipuler des objets physiques pour produire des sons.
Bien que les chercheurs aient indiqué que les caractéristiques audio spatiales des enregistrements d'entrée peuvent parfois avoir un impact négatif sur le son généré, ils s'efforcent de résoudre ce problème. Pour l'instant, Adobe n'a pas annoncé si Sketch2Sound serait commercialisé ni sa date de sortie.
Accès au projet : https://hugofloresgarcia.art/sketch2sound/
Points clés :
🎵 Sketch2Sound est un nouvel outil d'IA qui permet de créer des effets sonores en humant et en utilisant des descriptions textuelles.
🔊 Le système analyse le volume, le timbre et la hauteur, combinant l'entrée vocale de l'utilisateur avec du texte pour générer l'effet sonore souhaité.
🎬 Particulièrement adapté aux artistes Foley, il permet de générer rapidement des effets sonores pour l'audiovisuel, améliorant ainsi l'efficacité du travail.