Recientemente, Adobe anunció una nueva herramienta de creación: Adobe Firefly Video Model. Esta nueva herramienta representa un audaz intento de Adobe en el campo de la generación de video con IA, y se basa en su modelo de imágenes de IA generativa Firefly existente.
Adobe afirma que este modelo ha recibido un entrenamiento ético y que los datos utilizados son propiedad de la empresa o se utilizan con licencia, lo que garantiza la seguridad del contenido generado.
Sin embargo, algunos creadores de Adobe Stock han expresado su desacuerdo, argumentando que al subir sus obras no imaginaron que se usarían para entrenar un modelo de IA, incluso compitiendo con su propio estilo.
Se espera que Adobe Firefly Video Model entre en fase de prueba a finales de este año. Actualmente, la empresa ha abierto una lista de espera para acceso anticipado, para aquellos interesados en solicitarlo.
En cuanto a sus funciones, no solo admite la generación de video a partir de texto e imagen a video, sino que también cuenta con funciones de edición de video, aunque la duración máxima de cada fragmento generado está limitada a 5 segundos.
Ejemplos de generación de video de alta calidad
El blog oficial de Adobe ya ha mostrado algunos ejemplos de videos generados previamente, con una calidad sorprendente y una gran fidelidad a las indicaciones de texto.
Entre ellos, utilizando la función de texto a video de Firefly, se puede usar indicaciones de texto, varios controles de cámara e imágenes de referencia para generar B-Roll que rellene sin problemas los huecos de la línea de tiempo.
Por ejemplo, al introducir una descripción aproximada de la escena como "Primer plano de un reno en un bosque nevado, al atardecer, con una luz suave y mágica", el resultado de video es excepcional.
Indicación específica: “Primer plano cinematográfico y retrato detallado de un reno en un bosque nevado al atardecer. La iluminación es cinematográfica, preciosa, suave y bañada por el sol, con contraluz dorada, bokeh de ensueño y brillos de lente. La gradación del color es cinematográfica y mágica.”
Otro ejemplo, al introducir una escena relacionada con "Erupción volcánica en cámara lenta, la cámara sobrevuela la lava", el resultado también es cautivador.
Indicación específica: “Paisaje volcánico ardiente en cámara lenta, con lava brotando de los cráteres. La cámara vuela a través de la lava y las salpicaduras de lava caen sobre la lente. La iluminación es cinematográfica y evocadora. La gradación del color es cinematográfica, dramática y de alto contraste.”
Según la información oficial, Firefly Video Model destaca en la generación de videos de la naturaleza. Cuando los productores se pierden tomas clave necesarias para configurar una escena, genera inserciones con movimiento de cámara, como paisajes, plantas o animales.
Indicación: Imágenes de una cámara en un dron sobrevolando un desierto con viento que sopla sobre las dunas creando olas en la arena debajo.
Además, si se necesitan más tomas complementarias, se pueden usar clips generados a partir de fotogramas de referencia para rellenar los huecos de la línea de tiempo.
Por ejemplo, un video original como este:
Se puede complementar con Firefly Video Model generando este video:
Indicación: Vista extremadamente detallada en macro de un diente de león blanco visto a través de una gran lupa roja.
Además, se pueden utilizar los amplios controles de cámara (como ángulo, movimiento y zoom) para crear la perspectiva perfecta en el video generado.
Por ejemplo, generar una perspectiva de dron,Indicación: Toma de dron pasando entre los árboles de un bosque nevado al atardecer de la hora dorada. La iluminación es cinematográfica, preciosa, suave y bañada por el sol, con contraluz dorada, bokeh de ensueño y brillos de lente. La gradación del color es cinematográfica y mágica.
Para los tomadores de decisiones empresariales, el modelo de video Firefly de Adobe puede ser una opción bastante atractiva, especialmente para las empresas que desean crear videos para la formación de empleados o marketing.
Adobe también ofrece a los usuarios protección legal, incluso en caso de litigios por infracción de derechos de autor al utilizar su modelo de IA, aunque aún no se ha especificado si Firefly Video está incluido.
Desde el lanzamiento de Adobe Firefly en marzo de 2023, Adobe ha utilizado este modelo como base para las nuevas funciones de IA en su ampliamente utilizado paquete de software Creative Cloud.
Las herramientas Firefly ya están integradas en aplicaciones populares como Photoshop, Illustrator y Lightroom, ofreciendo funciones como Generative Fill, Generative Remove y Text-to-Template.
Según Adobe, desde su lanzamiento se han generado más de 12.000 millones de imágenes y vectores con Firefly, convirtiéndolo en una de las innovaciones de adopción más rápida de la empresa.
Ashley Still, ejecutiva de Adobe a cargo del proyecto, afirma que la empresa "colabora estrechamente con la comunidad de edición de video para desarrollar Firefly Video Model".
No solo admite la generación de video con IA
Además, el modelo de video Firefly no solo genera videos nuevos, sino que también cuenta con funciones de edición con IA para eliminar elementos no deseados, realizar transiciones perfectas, etc.
Con el auge del contenido de video corto y la reducción del tiempo de producción, Adobe espera ayudar a los editores a acelerar el proceso de producción con estas herramientas, manteniendo al mismo tiempo una salida de alta calidad.
El modelo de video Firefly de Adobe resuelve este problema al ofrecer herramientas que ayudan a los editores no solo a editar clips, sino también a gestionar la corrección de color, la animación y los efectos visuales.
El modelo también admite una amplia gama de efectos creativos, incluyendo la generación de b-roll, tomas macro y elementos atmosféricos (como fuego, humo o agua) mencionados anteriormente, que los usuarios pueden superponer en tomas pregrabadas o animadas.
Una función destacada que aparecerá en Premiere Pro a finales de este año es Generative Extend. Esta función permitirá a los editores alargar los clips de video, rellenar huecos en las tomas o suavizar las transiciones, ayudando a que los clips coincidan con el ritmo del audio y otros elementos visuales.
Adobe muestra esta capacidad al demostrar cómo Generative Extend puede alargar la duración de una toma para que coincida perfectamente con el clímax de la música:
Resultado final después de la edición:
Adobe también está explorando continuamente cómo integrar la IA en más flujos de trabajo creativos, con la esperanza de que estas nuevas herramientas ayuden a los creadores a tener más tiempo para explorar su creatividad y mejorar la calidad general de sus proyectos.
Blog oficial: https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
Puntos clave:
🌟 El modelo de video Firefly de Adobe admite la conversión de texto a video, imagen a video y funciones de edición de video, y se espera que entre en fase de prueba a finales de este año.
🎥 La calidad de los videos generados previamente es sorprendente, mostrando una gran fidelidad a las indicaciones de texto, lo que ha atraído la atención de numerosos creadores.
📈 Adobe ofrece protección legal a los usuarios, ayudando a las empresas a evitar riesgos de infracción de derechos de autor al crear videos con IA.