近日，在中关村论坛系列活动第12届数字金融与科技金融大会上，蚂蚁数科的 Deepfake 检测方案入选大会“金融科技技术创新与应用案例”。蚂蚁数科依托旗下天玑实验室，业界首次构建了大规模、高质量、多模态的 Deepfake 数据集，其合成超过百万级多媒体内容，充分地模拟了真实世界金融风控环境中的Deepfake攻击样本，成为评测现有金融领域Deepfake检测模型性能的重要标准。在金融业务场景中，蚂蚁数科多组测试数据集上的 Deepfake 检测准确率达到了98%以上，并成功阻止了多起利用Deepfake技
如今，Deepfake 已经无孔不入。随着生成式 AI 的普及，网络上的虚假内容呈爆炸式增长。据身份验证平台 Sumsub 统计，2023年至2024年，全球 Deepfake 数量增加了4倍。2024年，Deepfake 占所有欺诈行为的7%，从身份冒充、账户盗用到复杂的社会工程攻击，无不涉及 Deepfake 的身影。为了有效打击 Deepfake，Meta 公司近日发布了一款工具，可以在 AI 生成的视频片段上添加难以察觉的水印。这款名为 Meta Video Seal 的工具于周四宣布开源，旨在集成到现有软件中。 该工具与 Meta 的其他水印工具 Watermark Anything（
近期，Deepfake技术滥用事件在韩国引起广泛关注，近22万人通过Telegram传播AI生成的色情图片，对女性权益造成严重伤害。这一事件与"N号房事件"相呼应，凸显了AI技术滥用的社会危害。中国女工程师张欣怡及其团队针对这一问题，宣布将参加外滩大会AI创新赛的Deepfake模型向全球开源，旨在为对抗Deepfake技术滥用提供技术手段。该举动在社交媒体上获得广泛关注，视频播放量超过151万次。张欣怡表示，团队受到韩国事件启发，旨在通过技术手段为受害者提供保护。开源模型旨在降低使用门槛，让更多人能便捷地对抗Deepfake。此外，赛事设立奖金池鼓励技术人才，推动AI向善发展。尽管技术对抗是重要一环，还需从法律、教育等多层面构建全面防御体系，包括加强法律法规、提高公众媒体素养、培养负责任的技术使用文化等。张欣怡的行动为解决Deepfake问题提供范例，但解决这一问题需要社会各界共同努力。
微软与反仇色情组织StopNCII合作，为受害者提供清除搜索引擎上deepfake色情图像的工具。通过在设备上制作图像的数字指纹（哈希值），帮助在Bing等平台彻底清除相关合成裸体图像。此举措旨在应对生成式AI技术滥用引发的deepfake色情问题，解决仅靠用户举报难以有效应对的挑战。然而，谷歌尚未与StopNCII合作，美国对此类行为缺乏专门的联邦法律。旧金山的诉讼尝试可能推动制定更有力的法律。
