Al crear videos cautivadores, el audio juega un papel tan importante como los efectos visuales. Sin embargo, encontrar o crear los efectos de sonido adecuados suele ser una tarea que consume mucho tiempo.
En la conferencia anual MAX de Adobe, presentaron un prototipo experimental llamado Project Super Sonic. Esta tecnología puede generar efectos de sonido a partir de texto, identificar objetos en videos e incluso usar tu propia voz para generar rápidamente efectos de sonido y pistas de audio para tus proyectos de video.
Si bien la función de generar efectos de sonido a partir de indicaciones de texto suena genial, en realidad, empresas como ElevenLabs ya ofrecen servicios similares comercialmente. Lo más interesante es que Adobe lleva esta función un paso más allá, añadiendo dos formas más de crear pistas de audio. La primera es a través de un modelo de reconocimiento de objetos; los usuarios pueden hacer clic en cualquier parte de un fotograma de video, y el sistema generará las sugerencias de efectos de sonido correspondientes. Este método de combinar varios modelos en un flujo de trabajo es muy inteligente.
Lo más impresionante es el tercer modo: los usuarios pueden grabarse imitando un sonido (sincronizado con el tiempo del video), y Project Super Sonic generará automáticamente los efectos de sonido adecuados. Justin Salamon, responsable de IA de diseño de sonido de Adobe, dijo que el equipo comenzó con modelos de texto a audio y enfatizó que en todos los proyectos de IA generativa de Adobe solo usan datos con licencia.
“Realmente queremos que los usuarios tengan el control del proceso. Es una herramienta diseñada para creadores, diseñadores de sonido y cualquier persona que quiera mejorar el sonido de sus videos”, explicó Salamon. “Por lo tanto, no nos limitamos al flujo de trabajo inicial de texto a sonido, sino que nos dedicamos a desarrollar una herramienta que permita un control preciso”.
En cuanto al control de sonido, la herramienta analiza las diferentes características del sonido del usuario y su espectro de frecuencia para guiar el proceso de generación. Salamon mencionó que, aunque en la demostración se usó la voz humana, los usuarios también pueden grabar sonidos con palmadas o instrumentos musicales.
Cabe señalar que en la conferencia Adobe MAX siempre se presentan los llamados “Sneaks”, proyectos como Project Super Sonic, que son funciones experimentales que Adobe está desarrollando. Si bien muchos proyectos terminan integrándose en el conjunto de herramientas creativas de Adobe, no hay garantía de que todos se lancen oficialmente. Creo que Project Super Sonic tiene posibilidades de llegar a la producción real, ya que el mismo equipo también participó en la parte de audio del modelo de IA generativa Adobe Firefly, que puede alargar la duración de videos cortos, incluyendo su pista de audio. Pero, por ahora, Project Super Sonic sigue siendo una demostración.
Puntos clave:
🎤 Project Super Sonic es un prototipo experimental que utiliza la tecnología de IA para ayudar a los usuarios a generar rápidamente efectos de sonido para videos.
🎶 Los usuarios pueden generar efectos de sonido a través de texto, reconocimiento de objetos en video e imitación de sonidos, mejorando así la experiencia creativa.
🎥 Presentado en la conferencia Adobe MAX como un proyecto Sneaks, Project Super Sonic tiene posibilidades de integrarse en el futuro conjunto de herramientas creativas.
