Recientemente, investigadores de ByteDance y la Universidad de Ciencia y Tecnología de Shanghai han desarrollado una tecnología llamada "HeadGAP" que ha llamado la atención. El equipo de investigación propone un nuevo método para crear rápidamente avatares de cabeza 3D hiperrealistas y animables con solo tres fotos del sujeto desde diferentes ángulos, pudiendo sincronizar las expresiones faciales con un vídeo de referencia.
El equipo de investigación demostró cómo crear avatares personalizados con una cantidad mínima de datos en escenarios reales. En este estudio, los investigadores llevaron a cabo una fase llamada "aprendizaje previo". En esta fase, extrajeron información previa sobre cabezas 3D de un gran conjunto de datos dinámicos multi-perspectivas. Esta información previa ayuda al sistema a comprender las diferentes características y expresiones de la cabeza. Luego, en la fase de "creación de avatares", los investigadores utilizaron esta información previa para la personalización, generando un avatar virtual de la persona objetivo.
Todo el proceso utiliza una red de auto-decodificación basada en nubes de puntos gaussianos, combinada con modelado dinámico parcial. De esta manera, el sistema puede capturar rápidamente la singularidad de cada individuo y, sobre esta base, optimizar la personalización del avatar. El equipo también empleó algunas técnicas, como estrategias de inversión y ajuste fino, para hacer el proceso de personalización más eficiente, logrando finalmente un efecto de renderizado a nivel fotográfico y una consistencia multi-perspectiva.
En los experimentos, el equipo de investigación mostró el rendimiento de su método en diferentes escenarios. Los resultados muestran que, tanto en entornos controlados como en entornos reales, los avatares 3D generados mantienen una alta calidad y un efecto de animación estable. Este logro no solo tiene amplias perspectivas de aplicación en áreas como las redes sociales virtuales y el desarrollo de juegos, sino que también proporciona nuevas ideas y métodos para la creación personalizada de avatares 3D.
Enlace al producto: https://top.aibase.com/tool/headgap
Puntos clave:
🎨 El equipo de investigación, a través del método "HeadGAP", crea avatares de cabeza 3D realistas con solo unas pocas fotos.
🚀 Este método utiliza redes de puntos gaussianos y técnicas de modelado dinámico para personalizar y optimizar los avatares.
🖼️ Los resultados experimentales muestran que los avatares generados tienen una excelente calidad de renderizado y rendimiento de animación, adecuados para diversas aplicaciones.