Adobe Research und die Northwestern University haben kürzlich ein KI-System namens Sketch2Sound entwickelt, das die Arbeitsweise von Sounddesignern revolutionieren könnte. Mit Sketch2Sound können Benutzer professionelle Soundeffekte und Ambient Sounds erstellen, indem sie einfach summen, Geräusche imitieren oder sie kurz beschreiben.
Das System analysiert drei Schlüsselelemente der gesungenen oder imitierten Eingabe: Lautstärke, Klangfarbe (die Helligkeit oder Dunkelheit des Klangs) und Tonhöhe. Diese Merkmale werden dann mit der Textbeschreibung des Benutzers kombiniert, um den gewünschten Sound zu generieren. Gibt der Benutzer beispielsweise „Waldatmosphäre“ ein und gibt ein kurzes Geräusch von sich, erkennt das System dies automatisch als Vogelgesang, ohne explizite Anweisungen zu benötigen.
Ein weiteres Highlight von Sketch2Sound ist seine Fähigkeit, den Kontext zu verstehen. Bei der Musikproduktion kann der Benutzer beispielsweise „Bassdrum, Snare“ eingeben und den Rhythmus summen. Das System platziert die Bassdrum intelligent auf den tiefen Noten und die Snare auf den hohen Noten. Diese intelligente Verarbeitung vereinfacht den Sounddesign-Prozess erheblich.
Um den Bedürfnissen von Profis gerecht zu werden, hat das Forschungsteam spezielle Filtertechniken integriert, mit denen Benutzer die Genauigkeit des generierten Sounds anpassen können. Sounddesigner können eine sehr präzise Steuerung wählen oder eine entspanntere, ungefähre Methode bevorzugen. Diese Flexibilität könnte Sketch2Sound besonders für Foley-Künstler attraktiv machen. Diese Profis, die Soundeffekte für Film und Fernsehen erstellen, können mit diesem Tool schneller Effekte durch Sound und Textbeschreibungen erzeugen, ohne physische Objekte manipulieren zu müssen.
Die Forscher weisen darauf hin, dass räumliche Audioeigenschaften in der Eingabe manchmal negative Auswirkungen auf den generierten Sound haben können. Sie arbeiten jedoch an der Lösung dieses Problems. Derzeit hat Adobe noch nicht bekannt gegeben, ob Sketch2Sound als kommerzielles Produkt erscheinen wird oder wann es veröffentlicht werden soll.
Projektseite: https://hugofloresgarcia.art/sketch2sound/
Wichtigste Punkte:
🎵 Sketch2Sound ist ein neu entwickeltes KI-Tool, das Soundeffekte durch Summen und Textbeschreibungen erstellt.
🔊 Das System analysiert Lautstärke, Klangfarbe und Tonhöhe und kombiniert die Benutzereingabe mit Text, um den Ziel-Sound zu generieren.
🎬 Besonders gut geeignet für Foley-Künstler, um schnell Film- und Fernseh-Soundeffekte zu erstellen und die Arbeitseffizienz zu steigern.