Adobe anunció recientemente que su nuevo generador de videos con IA, Firefly, ha entrado en la fase de prueba beta, permitiendo a los usuarios transformar texto e imágenes en videos cortos. Esta innovadora función se integra en Adobe Creative Cloud, permitiendo a los creadores generar videos con IA desde la comodidad de sus herramientas familiares. La principal característica de este generador de videos es su capacidad para producir videos cortos de hasta 5 segundos con una resolución de 1080p y a 24 fotogramas por segundo. Los usuarios pueden hacerlo a través de una interfaz sencilla e intuitiva.

Recientemente, Alibaba lanzó su último avance tecnológico, Animate Anyone 2. Esta tecnología innovadora permite el reemplazo preciso de personajes en videos. Según los ejemplos publicados en el sitio web del proyecto, los usuarios solo necesitan proporcionar el video original y la imagen del personaje objetivo, y el sistema puede reemplazar la imagen del personaje en tiempo real mientras conserva la trayectoria del movimiento del video original. Los datos experimentales muestran que el sistema puede transferir completamente la acción de un futbolista pateando al personaje animado, mientras conserva las características físicas reales de la trayectoria del balón. Para las complejas necesidades de la producción cinematográfica,

Recientemente, Adobe lanzó oficialmente la versión de prueba pública de su herramienta de generación de video con IA, Firefly Video, que permite a los usuarios convertir texto e imágenes en videos cortos de hasta 5 segundos de duración, con una resolución de 1080p y una velocidad de fotogramas de 24 fps. El lanzamiento de esta herramienta marca un paso importante para Adobe en el campo de la generación de video. Los usuarios pueden generar contenido de video de alta calidad rápidamente mediante instrucciones de texto sencillas o cargando imágenes. La interfaz de usuario de Firefly Video es intuitiva y permite...

Recientemente, una serie de videos de mascotas bailando generados por IA han causado furor en TikTok, llevando lo absurdo y lo gracioso al extremo. En estos videos, las adorables mascotas se transforman instantáneamente en expertos bailarines, no solo con una gran flexibilidad, sino también con movimientos de baile hilarantes. Esta moda de bailes mágicos con IA se ha extendido rápidamente, no solo a las mascotas, sino también a escenas de grupos de personas bailando torpemente. En poco tiempo, temas como '#BailesImposiblesConIA' han escalado rápidamente en las tendencias de TikTok, con videos relacionados alcanzando hasta 880 millones de reproducciones. Los gatos y perros de los videos parecen haber recibido una inyección de energía surrealista, desde su estado original...

En el campo del análisis de video, la persistencia de los objetos es una pista crucial para la comprensión humana, incluso cuando están completamente ocluidos. Sin embargo, la mayoría de los métodos actuales de segmentación de objetos se centran únicamente en los objetos visibles (modales), careciendo del tratamiento de objetos amodales (visibles + invisibles). Para abordar este problema, los investigadores proponen Diffusion-Vas, un método de dos etapas basado en un prior difusivo, que busca mejorar la segmentación amodal y el relleno de contenido en video. Puede rastrear un objetivo específico en el video y luego utilizar un modelo de difusión para rellenar las partes ocluidas.

En el torrente de medios digitales, el video está creciendo a un ritmo sin precedentes. Sin embargo, los métodos tradicionales de búsqueda y análisis siempre han estado limitados por las restricciones tecnológicas. Twelve Labs está cambiando radicalmente esta situación, utilizando el poder de la inteligencia artificial para aportar una capacidad revolucionaria de comprensión al contenido de video. La búsqueda de video tradicional se limita a los títulos y etiquetas, como ver solo la punta del iceberg. El fundador de Twelve Labs, Jae Lee, sabe que la verdadera comprensión de video requiere una tecnología más profunda. Sus modelos no solo identifican palabras clave, sino que también comprenden las acciones y los objetos dentro del video.

Una startup llamada Panjaya está cambiando las reglas del juego en la traducción de video. Después de tres años de desarrollo secreto, la compañía lanzó BodyTalk, una herramienta de IA innovadora que traduce con precisión el audio de un video a otros idiomas. A diferencia de la sincronización de audio tradicional, BodyTalk no solo replica perfectamente las características de la voz del hablante, sino que también ajusta automáticamente las expresiones faciales y los movimientos corporales del personaje en el video para que coincidan naturalmente con el patrón de habla del nuevo idioma. Panjaya está dirigida por dos israelíes

En el campo del procesamiento de video, el seguimiento eficiente del movimiento 3D a partir de video de una sola cámara ha sido un desafío constante, especialmente cuando se requiere un seguimiento preciso a nivel de píxel en secuencias largas. Los métodos tradicionales enfrentan múltiples desafíos, a menudo solo pueden rastrear una pequeña cantidad de puntos clave, sin lograr una comprensión detallada de la escena completa. Además, las técnicas existentes tienen altas demandas computacionales, lo que dificulta mantener la eficiencia al procesar videos largos. Al mismo tiempo, el seguimiento a largo plazo se ve afectado por problemas como el movimiento de la cámara y la oclusión de objetos, lo que lleva a errores o fallos en el seguimiento. Actualmente, los métodos de estimación de movimiento en secuencias de video tienen diferentes ventajas y desventajas.

Vidu, el primer modelo de video grande completamente original e independiente desarrollado conjuntamente por Shengshu Technology y la Universidad de Tsinghua, lanza la función "referencia de sujeto", que resuelve el problema de la coherencia de los personajes en los videos generados por IA. Después de que el usuario cargue cualquier imagen del sujeto, Vidu puede garantizar la generación consistente del sujeto en diferentes escenarios, aplicable a personas, animales, productos, personajes de dibujos animados, etc. Esta función es de acceso gratuito y marca una nueva era en la creación de videos con IA. En el futuro, exploraremos un control más preciso de la interacción entre múltiples sujetos, la unificación del estilo y la conmutación estable de escenarios variables, etc., para satisfacer necesidades más complejas.

Ante el impacto directo de la calidad del video en la experiencia de visualización, especialmente en la presentación de los detalles faciales, los métodos actuales, como la simple aplicación de redes de superresolución a conjuntos de datos faciales o el procesamiento independiente de cada fotograma de imagen, a menudo dificultan la conciliación de los detalles de la reconstrucción facial y la coherencia temporal. Para abordar este desafío, el equipo de investigación de la Universidad Tecnológica de Nanyang presentó el innovador marco KEEP, que utiliza el principio del filtro de Kalman para lograr la capacidad de "recuerdo" de la reparación facial, mejorando significativamente la coherencia y continuidad de los detalles faciales durante el proceso de reparación. El marco KEEP consta de cuatro módulos clave: codificador, decodificador, filtro de Kalman

Según los informes de noticias de CCTV, en un caso reciente resuelto en Huangshi, Hubei, una banda criminal utilizó la tecnología de cambio de rostro con IA para desbloquear y revender cuentas de redes sociales, obteniendo ganancias ilegales. El Sr. Wang, una de las víctimas, después de unirse a una sala de chat de inversión bursátil, fue inducido a invertir y finalmente se encontró con dificultades para retirar fondos. La cuenta del estafador fue congelada por sospecha de fraude, y los fondos no pudieron ser retirados.

Hoy, Shengshu Science & Technology de Beijing anunció el lanzamiento global del sitio web del modelo de generación de video con IA Vidu. Vidu es un modelo que utiliza tecnología de inteligencia artificial para generar videos a partir de texto o imágenes. En abril de este año, Shengshu Science & Technology y la Universidad Tsinghua lanzaron conjuntamente el primer gran modelo de video de China, 'Vidu', lo que marca un paso importante para China en la tecnología de generación de video.

El sindicato de actores y artistas de Hollywood planea una huelga por la preocupación sobre el uso indebido de la inteligencia artificial (IA) por parte de los editores de videojuegos. Argumentan que esto no solo reduce las oportunidades laborales para los actores, sino que también amenaza sus perspectivas profesionales e ingresos. Acusan a los editores de depender excesivamente de la IA, potencialmente reemplazando a actores reales con IA, lo que genera un amplio debate sobre el uso de la IA en la industria del entretenimiento. Los actores exigen medidas para garantizar que el uso de la IA no les perjudique. Esta huelga destaca el conflicto potencial entre el avance de la IA y el trabajo humano.

{'Runway Gen-2 presenta una función de animación de imágenes estáticas que genera automáticamente escenas de video cortos. ''Runway lanza un programa de colaboración creativa que ofrece privilegios y descuentos a artistas y creadores. ''El modelo Runway Gen-2 puede convertir texto e imágenes en videos cortos de hasta 18 segundos.'}