Lors de l'Augmented World Expo, Snap a présenté une version préliminaire d'un modèle de diffusion d'images en temps réel sur appareil, capable de générer des expériences de réalité augmentée (RA) immersives. L'entreprise a également lancé des outils d'IA générative destinés aux créateurs de RA.
Bobby Murphy, co-fondateur et directeur technique de Snap, a déclaré sur place que le modèle était suffisamment compact pour fonctionner sur un smartphone et suffisamment rapide pour re-rendre les images en temps réel à partir d'invites textuelles. Il a souligné que, malgré l'enthousiasme suscité par l'émergence des modèles de diffusion d'images IA générative, ces modèles nécessitent une amélioration significative de la vitesse pour avoir un impact majeur sur la réalité augmentée. L'équipe Snap s'est donc attelée à accélérer les modèles d'apprentissage automatique.
Les utilisateurs de Snapchat devraient commencer à voir des effets de lentilles basés sur ce modèle génératif dans les prochains mois, et Snap prévoit de le proposer aux créateurs d'ici la fin de l'année. Bobby Murphy a déclaré : « Ce modèle d'apprentissage automatique génératif en temps réel sur appareil, ainsi que les modèles futurs, marquent une nouvelle étape passionnante pour la réalité augmentée, nous amenant à repenser la manière dont nous rendons et créons des expériences de RA. »
Par ailleurs, Murphy a annoncé le lancement de Lens Studio 5.0, offrant aux développeurs de nouveaux outils d'IA générative pour créer des effets de RA plus rapidement qu'auparavant, gagnant ainsi des semaines, voire des mois de travail. Les créateurs de RA peuvent utiliser les nouveaux outils pour générer rapidement des lentilles de selfie, créer des effets faciaux d'apprentissage automatique hautement réalistes, et générer en temps réel des effets de style personnalisés couvrant le visage, le corps et l'environnement de l'utilisateur. Ils peuvent également générer des éléments 3D en quelques minutes et les appliquer à leurs lentilles.
De plus, les créateurs de RA peuvent utiliser la technologie de maillage facial de l'entreprise pour générer des personnages tels qu'extraterrestres ou sorciers à partir d'invites textuelles ou d'images, et créer des masques, des textures et des matériaux en quelques minutes. La dernière version de Lens Studio inclut également un assistant IA capable de répondre aux questions des créateurs de RA. Snap prévoit que ces nouveaux outils transformeront radicalement la création de RA, permettant aux créateurs de concrétiser leurs idées plus rapidement.