No Augmented World Expo, o Snap apresentou uma versão inicial de um modelo de difusão de imagens em tempo real para dispositivos, capaz de gerar experiências de realidade aumentada (RA) vívidas. A empresa também lançou ferramentas de IA generativa projetadas para criadores de RA.
Bobby Murphy, cofundador e CTO do Snap, disse no evento que o modelo é pequeno o suficiente para rodar em smartphones e rápido o suficiente para renderizar quadros em tempo real com base em prompts de texto. Ele observou que, embora o surgimento de modelos de difusão de imagens de IA generativa seja emocionante, esses modelos precisam de um aumento significativo de velocidade para impactar significativamente a realidade aumentada, e por isso a equipe do Snap tem se dedicado a acelerar modelos de aprendizado de máquina.
Segundo informações, os usuários do Snapchat começarão a ver efeitos de lentes baseados nesse modelo generativo nos próximos meses, e o Snap planeja lançá-lo para criadores até o final do ano. Bobby Murphy disse: "Este modelo de aprendizado de máquina generativo em tempo real para dispositivos, e os modelos futuros, marcam uma nova e empolgante direção para a realidade aumentada, permitindo-nos repensar a maneira como renderizamos e criamos experiências de RA."
Além disso, Murphy também anunciou o lançamento do Lens Studio 5.0, que oferece aos desenvolvedores novas ferramentas de IA generativa para ajudá-los a criar efeitos de RA mais rapidamente do que nunca, economizando semanas ou até meses de trabalho. Os criadores de RA podem usar as novas ferramentas para gerar rapidamente lentes de selfie, gerar efeitos faciais de aprendizado de máquina altamente realistas e gerar efeitos de estilo personalizados em tempo real que cobrem o rosto, o corpo e o ambiente do usuário. Eles também podem gerar ativos 3D em minutos e aplicá-los às suas lentes.
Além disso, os criadores de RA podem usar a tecnologia de malha facial da empresa para gerar personagens como alienígenas e magos a partir de prompts de texto ou imagem, e também podem gerar máscaras, texturas e materiais em minutos. A versão mais recente do Lens Studio também inclui um assistente de IA que pode responder a perguntas que os criadores de RA possam ter. O Snap prevê que essas novas ferramentas mudarão drasticamente a maneira como a RA é criada, permitindo que os criadores realizem suas ideias criativas mais rapidamente.