Recientemente, los laboratorios de IA de Tencent y el laboratorio ARC de Tencent PCG lanzaron conjuntamente un nuevo marco llamado StereoCrafter, que puede convertir videos 2D comunes en videos 3D estereoscópicos de alta fidelidad.
Esta innovación responde a la creciente demanda de contenido 3D, especialmente en el campo de las experiencias inmersivas. StereoCrafter aprovecha al máximo las ventajas de los modelos básicos, supera las limitaciones de los métodos de conversión tradicionales y mejora significativamente los resultados de la generación, garantizando que el contenido generado pueda satisfacer los requisitos de alta fidelidad de varios dispositivos de visualización.
El núcleo del sistema se divide en dos pasos principales. El primer paso es el remapeado de video basado en información de profundidad, extrayendo información de oclusión mientras se realiza la transformación de video; el segundo paso es la reparación de video estereoscópico. El sistema utiliza un modelo de difusión de video estable preentrenado como base e introduce un protocolo de ajuste fino para la tarea de reparación de video estereoscópico. Para procesar entradas de video de diferentes longitudes y resoluciones, el equipo también exploró estrategias autorregresivas y técnicas de procesamiento por segmentos, asegurando que el sistema pueda adaptarse flexiblemente a diversas condiciones de entrada.
Para apoyar el entrenamiento, el equipo construyó una compleja canalización de procesamiento de datos, generando un conjunto de datos a gran escala y de alta calidad. Durante la construcción del conjunto de datos, el equipo de investigación seleccionó una gran cantidad de videos estereoscópicos y generó la profundidad del video correspondiente, el video transformado y la información de oclusión, asegurando que el video de la derecha sirva como referencia real. Estos métodos innovadores ofrecen una solución práctica para convertir videos 2D en videos 3D, permitiendo que Apple Vision Pro y otros dispositivos de visualización 3D presenten experiencias inmersivas más impresionantes.
StereoCrafter no solo ha logrado un gran avance tecnológico, sino que también ha traído una posible transformación a la forma en que experimentamos los medios digitales, posiblemente cambiando la forma en que vemos y experimentamos el contenido digital.
Enlace al proyecto:https://stereocrafter.github.io/
Puntos clave:
🌟 StereoCrafter convierte videos 2D en videos 3D estereoscópicos inmersivos de manera eficiente mediante nuevas tecnologías.
🖥️ El sistema se divide en dos pasos principales: reconstrucción de video profundo y reparación de video estereoscópico, mejorando los resultados de la generación.
📊 El equipo de investigación construyó un conjunto de datos de alta calidad para apoyar el entrenamiento del algoritmo y asegurar la calidad de la salida.
