En la reciente feria CES, Stability AI anunció el lanzamiento de SPAR3D (Stable Point Aware3D), un innovador método de generación 3D en dos etapas capaz de generar objetos 3D precisos a partir de una sola imagen en menos de un segundo. Esta tecnología ofrece a desarrolladores de juegos, diseñadores de productos y creadores de entornos una forma completamente nueva de prototipado 3D.
La singularidad de SPAR3D radica en su capacidad para modelar por separado las partes visibles e invisibles. Al generar objetos 3D, el método proporciona una geometría precisa y una vista completa de 360 grados, incluyendo los detalles de la parte posterior del objeto. Los usuarios también pueden modificar directamente los objetos 3D generados mediante una función de edición en tiempo real, como eliminar, copiar, estirar y volver a colorear la nube de puntos, lo que aumenta considerablemente la flexibilidad y la creatividad en la operación.
El flujo de trabajo de SPAR3D se divide en dos etapas. La primera etapa utiliza un modelo de difusión de puntos ligero para generar una nube de puntos 3D dispersa, con una velocidad de extracción de muestras extremadamente rápida; la segunda etapa utiliza estas nubes de puntos y la imagen de entrada para construir un modelo de malla de alto detalle. Este diseño no solo mejora la eficiencia computacional, sino que también garantiza la calidad de la salida, superando las limitaciones de los métodos tradicionales de reconstrucción 3D a partir de una sola imagen.
En las pruebas de rendimiento, SPAR3D obtuvo excelentes resultados en los conjuntos de datos GSO y Omniobject3D, superando a varios algoritmos de vanguardia existentes. El equipo de investigación verificó la eficacia de la tecnología mediante múltiples experimentos, especialmente en el manejo de oclusiones de imágenes y la reconstrucción de detalles. SPAR3D utiliza una nube de puntos explícita como representación intermedia, lo que permite a los usuarios editar aún más el modelo 3D, mejorando la experiencia del usuario.
Resumen de las funciones de SPAR3D:
Capacidad de generación en tiempo real
Generación rápida: capaz de generar la estructura completa de un objeto 3D a partir de una sola imagen en menos de un segundo.
Edición eficiente: la velocidad de conversión de la nube de puntos editada a la malla final es de solo 0,3 segundos.
Funciones de edición avanzadas
Edición de nubes de puntos: los usuarios pueden operar directamente sobre la nube de puntos, incluyendo eliminar, copiar, estirar y agregar características.
Recoloreado: ofrece la función de ajuste del color del modelo 3D, aumentando la flexibilidad creativa.
Predicción de estructura precisa
Predicción de estructura completa: capaz de proporcionar una geometría precisa y una predicción detallada de la vista de 360 grados, incluyendo las áreas ocultas.
Salida de alta resolución: genera datos de tres planos de alta resolución mediante un transformador de tres planos, capturando la textura e iluminación de la imagen.
Política de uso abierta
Licencia de uso amplia: admite usos comerciales y no comerciales; los usuarios pueden obtener y utilizar el modelo en varias plataformas.
Amigable para desarrolladores: los pesos se pueden descargar a través de Hugging Face, el código se puede utilizar en GitHub o se puede acceder a través de la API.
Presentación oficial: https://stability.ai/news/stable-point-aware-3d
Puntos clave:
🌟 SPAR3D puede generar objetos 3D precisos a partir de una sola imagen en un segundo y admite funciones de edición en tiempo real.
🔍 Esta tecnología utiliza un método de dos etapas, generando por separado la nube de puntos y la malla de alto detalle, lo que mejora la eficiencia computacional y la calidad de la salida.
🚀 SPAR3D supera a los algoritmos de reconstrucción 3D existentes en varios conjuntos de datos, mostrando un excelente rendimiento y capacidad de edición del usuario.