Recientemente, un equipo de investigación de la Universidad de Pekín y el Laboratorio Pengcheng ha presentado HoloDreamer, un nuevo marco para la generación de escenas 3D que crea escenas 3D inmersivas y completas a partir de descripciones de texto del usuario.
Este marco consta de dos módulos principales: primero, la "generación panorámica isométrica estilizada", capaz de generar panorámicas de alta calidad a partir de indicaciones del usuario; y segundo, la "reconstrucción panorámica de dos etapas mejorada", que reconstruye rápidamente las panorámicas mediante la técnica de pulverización gaussiana 3D, garantizando la coherencia de la perspectiva de la escena generada.
Acceso al proyecto: https://top.aibase.com/tool/holodreamer
En la actualidad, la demanda de generación de escenas 3D en los sectores de la realidad virtual, los videojuegos y el cine es cada vez mayor. Gracias a los potentes modelos de difusión de texto a imagen, ya es posible generar escenas 3D a partir de simples descripciones textuales. Este avance revolucionario impulsará la investigación en la generación de escenas 3D impulsada por texto.
Los métodos anteriores solían generar escenas mediante la expansión de imágenes, lo que a menudo daba lugar a escenas con falta de coherencia e integridad. HoloDreamer, en cambio, genera una panorámica de alta resolución como base para la inicialización de toda la escena 3D, y luego utiliza la técnica de pulverización gaussiana 3D para reconstruir rápidamente la escena 3D, generando así escenas 3D completas y con una perspectiva coherente.
En concreto, el módulo de "generación panorámica isométrica estilizada" del marco combina varios modelos de difusión para generar panorámicas estilizadas y detalladas a partir de indicaciones textuales complejas. Además, el marco utiliza una técnica de mezcla cíclica para evitar grietas al rotar la panorámica. A continuación, el módulo de "reconstrucción panorámica de dos etapas mejorada" realiza una estimación de profundidad y proyecta los datos RGBD para obtener información de la nube de puntos.
Preparando dos tipos de cámaras en diferentes escenarios, el equipo de investigación pudo supervisar los conjuntos de imágenes en las diferentes etapas de optimización de la pulverización gaussiana 3D, optimizando así la escena reconstruida final.
Tras exhaustivas pruebas, HoloDreamer ha superado los resultados de investigaciones anteriores en cuanto a coherencia visual, armonía, calidad de reconstrucción y robustez de renderizado. Este marco innovador promete desempeñar un papel importante en futuras aplicaciones, ofreciendo experiencias de escenas 3D más ricas.
Puntos clave:
🌟 HoloDreamer es un nuevo marco para la generación de escenas 3D que crea escenas 3D completas a partir de descripciones de texto.
🖼️ El marco incluye dos módulos: generación panorámica estilizada y reconstrucción panorámica mejorada, garantizando la alta calidad y coherencia de los resultados.
🚀 HoloDreamer ha demostrado un rendimiento excelente en las pruebas, superando los métodos de generación 3D anteriores y ofreciendo nuevas soluciones para la realidad virtual y los videojuegos.