Bei der Erstellung mitreißender Videos spielt neben der visuellen Gestaltung auch der Ton eine wichtige Rolle. Die Suche oder Erstellung geeigneter Soundeffekte ist jedoch oft zeitaufwendig.
Auf der jährlichen Adobe MAX Konferenz wurde ein experimenteller Prototyp namens Project Super Sonic vorgestellt. Diese Technologie ermöglicht die Generierung von Soundeffekten aus Text, die Erkennung von Objekten in Videos und sogar die schnelle Erstellung von Hintergrundgeräuschen und Soundeffekten für Videoprojekte mithilfe der eigenen Stimme.
Die Generierung von Soundeffekten über Text-Eingaben klingt zwar beeindruckend, doch Unternehmen wie ElevenLabs bieten ähnliche Dienste bereits kommerziell an. Interessanterweise geht Adobe noch einen Schritt weiter und bietet zwei zusätzliche Möglichkeiten zur Erstellung von Soundtracks. Die erste Methode nutzt ein Objekterkennungsmodell: Der Benutzer kann auf einen beliebigen Bereich im Videobild klicken, und das System generiert entsprechende Soundeffekte. Diese Kombination mehrerer Modelle in einem Workflow ist sehr intelligent.
Am beeindruckendsten ist jedoch die dritte Methode: Der Benutzer kann seine eigene Stimme synchron zum Video aufnehmen, und Project Super Sonic generiert automatisch passende Soundeffekte. Justin Salamon, Leiter des Sounddesign-AI-Teams bei Adobe, erklärte, dass das Team zunächst mit Text-zu-Audio-Modellen begann und betonte, dass sie in allen Adobe Generative AI-Projekten nur lizenzierte Daten verwenden.
„Wir wollen den Benutzern die volle Kontrolle geben. Dies ist ein Werkzeug für Kreative, Sounddesigner und alle, die die Klangqualität ihrer Videos verbessern möchten“, erklärte Salamon. „Daher beschränken wir uns nicht nur auf den ursprünglichen Workflow von Text zu Soundeffekten, sondern arbeiten an einem Werkzeug, das präzise Steuerung ermöglicht.“
In Bezug auf die Klangsteuerung analysiert das Werkzeug die verschiedenen Eigenschaften und das Klangspektrum der Benutzerstimme, um den Generierungsprozess zu steuern. Salamon erwähnte, dass obwohl in der Demo eine menschliche Stimme verwendet wurde, der Benutzer auch Handklatschen oder Musikinstrumente aufnehmen kann.
Zu beachten ist, dass auf der Adobe MAX Konferenz immer sogenannte „Sneaks“ präsentiert werden – experimentelle Funktionen, die Adobe entwickelt. Ähnlich wie Project Super Sonic befinden sich diese Projekte in der Entwicklungsphase. Obwohl viele Projekte schließlich in die Adobe Creative Suite integriert werden, gibt es keine Garantie für alle Projekte. Ich denke, Project Super Sonic hat gute Chancen auf eine Markteinführung, da dasselbe Team auch an der Audiokomponente des Adobe Firefly Generative AI-Modells beteiligt war, welches die Länge von Kurzvideos inklusive der Audiospur verlängern kann. Derzeit ist Project Super Sonic jedoch nur eine Demo.
Wichtigste Punkte:
🎤 Project Super Sonic ist ein experimenteller Prototyp, der mithilfe von KI-Technologie die schnelle Generierung von Soundeffekten für Videos ermöglicht.
🎶 Benutzer können Soundeffekte über Text, Objekterkennung in Videos und durch Nachahmung von Geräuschen generieren und so ihr kreatives Erlebnis verbessern.
🎥 Project Super Sonic, vorgestellt als Sneaks-Projekt auf der Adobe MAX Konferenz, könnte in zukünftige Creative Suites integriert werden.