Zoom正准备为用户带来一项令人惊叹的新功能，但我们可能要等到明年才能一睹其真容。这家视频会议巨头在其年度开发者大会上宣布，他们将推出一项能够将用户视频转化为AI驱动的逼真数字化身的功能。
这个数字化身不仅包括头部，还有上臂和肩膀，堪称"数字分身"。用户只需输入想要数字化身说的内容，Zoom就能生成与头像唇形同步的音频。听起来很神奇，对吧?
Zoom的首席产品官Smita Hashim表示，这项功能旨在帮助人们以"更快、更高效"的方式与同事进行"异步"交流。她强调，这种头像可以为用户节省宝贵的时间和精力，同时提高视频创作的效率。
然而，这项技术的出现也引发了一些担忧。我们不得不思考，这是否会带来深度伪造（deepfake）的风险?
事实上，已经有不少公司开发出了类似的AI技术，可以数字化"克隆"一个人的面部，并配以相当自然的合成语音。比如Tavus帮助品牌为个性化视频广告创建虚拟角色，而微软去年也推出了一项可以生成令人信服的数字替身的服务。
但这些工具通常都实施了严格的保护措施来防止滥用。Tavus要求口头同意声明，微软则要求其客户获得所有涉及头像人才的书面许可和同意。
相比之下，Zoom对其安全措施的描述似乎有些模糊。Hashim表示，公司正在为自定义头像功能构建"多重保障"，包括"高级认证"和水印。她承诺将继续审查并在未来根据需要添加安全措施。
Zoom的这一举措与CEO袁征的宏伟愿景不谋而合。他希望未来能创造出可以代替你参加Zoom会议、回复邮件甚至接听电话的AI。
然而，这项技术的出现恰逢深度伪造在社交媒体上如野火般蔓延之际，使得区分真相和虚假信息变得越来越困难。今年以来，涉及美国总统拜登、泰勒·斯威夫特和副总统卡玛拉·哈里斯的深度伪造视频已经在网上获得了数百万的浏览量和转发。最近，在飓风海伦袭击后，大量虚假的AI生成图像充斥网络，展示了虚构的破坏和人类苦难场景。
深度伪造技术还被用来针对个人，比如冒充亲人进行诈骗。根据美国联邦贸易委员会的数据，去年与冒充诈骗相关的损失超过10亿美元。
那么，Zoom究竟如何防止骗子利用其工具生成恶意的虚假视频呢?目前还不清楚。公司提供的模拟图显示，自定义头像视频的右上角有一个可见的水印。但这种水印很容易被屏幕录制工具裁剪掉。
我们希望在2025年上半年Zoom计划发布这项功能时能了解更多细节。届时，用户每月需支付12美元的附加费用，才能在Zoom Clips（其异步视频工具）中使用自定义头像。
无论Zoom最终采取何种措施，监管努力正在进行，试图遏制深度伪造的泛滥。在美国联邦层面缺乏将深度伪造定为犯罪的法律的情况下，已有超过10个州制定了针对AI辅助冒充的法规。加利福尼亚州的法律（目前已暂停）将是第一个赋予法官权力，命令深度伪造内容的发布者删除内容，否则可能面临罚款的法律。
随着Zoom推出这项新功能，我们不禁要问:技术的进步是否总能带来积极的影响?在享受便利的同时，我们是否也在不经意间打开了潘多拉魔盒?这需要我们每个人深思。