En la Augmented World Expo, Snap presentó una versión temprana de un modelo de difusión de imágenes en tiempo real para dispositivos, capaz de generar experiencias de realidad aumentada (RA) vívidas. La compañía también lanzó herramientas de IA generativa diseñadas para creadores de RA.
Bobby Murphy, cofundador y director de tecnología de Snap, declaró en el evento que el modelo es lo suficientemente pequeño como para funcionar en un teléfono inteligente y lo suficientemente rápido como para volver a renderizar fotogramas en tiempo real según indicaciones de texto. Señaló que, si bien la aparición de modelos de difusión de imágenes de IA generativa es emocionante, estos modelos necesitan una mejora significativa en velocidad para tener un impacto importante en la realidad aumentada, razón por la cual el equipo de Snap ha estado trabajando en la aceleración de los modelos de aprendizaje automático.
Según se informa, los usuarios de Snapchat comenzarán a ver efectos de lentes basados en este modelo generativo en los próximos meses, y Snap planea extenderlo a los creadores antes de fin de año. Bobby Murphy afirmó: "Este modelo de aprendizaje automático generativo en tiempo real para dispositivos, y los modelos futuros, marcan una dirección emocionante para la realidad aumentada, haciéndonos replantear la forma en que renderizamos y creamos experiencias de RA".
Además, Murphy anunció el lanzamiento de Lens Studio 5.0, que ofrece a los desarrolladores nuevas herramientas de IA generativa para ayudarles a crear efectos de RA más rápido que nunca, ahorrando semanas o incluso meses de trabajo. Los creadores de RA pueden utilizar las nuevas herramientas para generar rápidamente lentes para selfies, generar efectos faciales de aprendizaje automático altamente realistas y generar efectos de estilo personalizados en tiempo real que cubren la cara, el cuerpo y el entorno del usuario. También pueden generar recursos 3D en minutos y aplicarlos a sus lentes.
Además, los creadores de RA pueden aprovechar la tecnología de malla facial de la empresa para generar personajes como extraterrestres o magos a partir de indicaciones de texto o imágenes, y también pueden generar máscaras, texturas y materiales en minutos. La última versión de Lens Studio también incluye un asistente de IA que puede responder preguntas que puedan tener los creadores de RA. Snap espera que estas nuevas herramientas cambien drásticamente la forma en que se crea la RA, permitiendo a los creadores realizar sus ideas creativas más rápidamente.