Adobe Research et la Northwestern University ont conjointement développé Sketch2Sound, un système d'IA révolutionnaire capable de transformer de simples imitations vocales et descriptions textuelles en effets sonores professionnels. Cette technologie est susceptible de bouleverser radicalement les méthodes de travail du secteur de la conception sonore.
Le système analyse trois éléments clés de l'entrée vocale : l'intensité, le timbre (qui détermine la brillance du son) et la hauteur. Il combine ensuite ces caractéristiques avec la description textuelle pour générer le son souhaité.
Vidéo : García et al., Adobe Research
L'aspect fascinant de Sketch2Sound réside dans sa capacité à comprendre le contexte. Par exemple, si un utilisateur saisit « ambiance forestière » et émet un son bref, le système identifiera automatiquement que ces sons doivent être des chants d'oiseaux, sans instruction spécifique.
Cette intelligence s'applique également à la musique. Lors de la création d'un motif de batterie, l'utilisateur peut saisir « grosse caisse, caisse claire » puis fredonner le rythme en utilisant des notes graves et aiguës. Le système placera automatiquement la grosse caisse sur les notes graves et la caisse claire sur les notes aiguës.
Un contrôle précis pour les professionnels
L'équipe de recherche a intégré des techniques de filtrage spéciales permettant aux utilisateurs d'ajuster la précision du son généré. Les concepteurs sonores peuvent choisir un contrôle précis et détaillé ou une méthode plus simple et approximative, selon leurs besoins.
Cette flexibilité rend Sketch2Sound particulièrement précieux pour les bruiteurs (professionnels qui créent des effets sonores pour les films et les émissions de télévision). Au lieu de manipuler des objets physiques pour produire des sons, ils peuvent créer des effets plus rapidement grâce à la voix et à des descriptions textuelles.
Les chercheurs ont indiqué que les caractéristiques audio spatiales de l'enregistrement d'entrée peuvent parfois affecter le son généré de manière indésirable, mais ils travaillent à résoudre ce problème. Adobe n'a pas encore annoncé si et quand Sketch2Sound deviendra un produit commercial.