Snap 在 Augmented World Expo 上展示了早期版本的实时设备端图像扩散模型,该模型可以生成生动的增强现实(AR)体验。公司还推出了为 AR 创作者设计的生成式 AI 工具。
Snap 的联合创始人兼首席技术官 Bobby Murphy 在现场表示,该模型体积小到足以在智能手机上运行,并且足够快速,能够根据文本提示实时重新渲染帧。他指出,尽管生成式 AI 图像扩散模型的出现令人兴奋,但这些模型需要速度显著提升才能对增强现实产生重大影响,因此 Snap 的团队一直致力于加速机器学习模型。
据悉,Snapchat 用户将在未来几个月内开始看到基于这一生成模型的镜头效果,Snap 计划在年底前将其推广给创作者。Bobby Murphy 表示:“这一实时设备端生成式机器学习模型以及未来的模型,标志着增强现实迈入令人振奋的新方向,让我们重新思考渲染和创造 AR 体验的方式。”
此外,Murphy 还宣布推出 Lens Studio5.0,为开发者提供新的生成式 AI 工具,帮助他们比以往更快地创建 AR 效果,节省数周甚至数月的时间。AR 创作者可以利用新工具快速生成自拍镜头,通过生成高度逼真的机器学习面部效果,还可以实时生成自定义样式效果,覆盖用户面部、身体和周围环境。他们还可以在几分钟内生成3D 素材,并将其应用到他们的镜头中。
除此之外,AR 创作者还可以利用公司的面部网格技术,通过文本或图像提示生成外星人、巫师等角色,还可以在几分钟内生成面具、纹理和材质。Lens Studio 的最新版本还包括一个 AI 助手,可以回答 AR 创作者可能遇到的问题。Snap 预计,这些新工具将极大地改变 AR 创作的方式,让创作者们能够更快地实现他们的创意想法。