近日，在中关村论坛系列活动第12届数字金融与科技金融大会上，蚂蚁数科的 Deepfake 检测方案入选大会“金融科技技术创新与应用案例”。蚂蚁数科依托旗下天玑实验室，业界首次构建了大规模、高质量、多模态的 Deepfake 数据集，其合成超过百万级多媒体内容，充分地模拟了真实世界金融风控环境中的Deepfake攻击样本，成为评测现有金融领域Deepfake检测模型性能的重要标准。在金融业务场景中，蚂蚁数科多组测试数据集上的 Deepfake 检测准确率达到了98%以上，并成功阻止了多起利用Deepfake技

如今，Deepfake 已经无孔不入。随着生成式 AI 的普及，网络上的虚假内容呈爆炸式增长。据身份验证平台 Sumsub 统计，2023年至2024年，全球 Deepfake 数量增加了4倍。2024年，Deepfake 占所有欺诈行为的7%，从身份冒充、账户盗用到复杂的社会工程攻击，无不涉及 Deepfake 的身影。为了有效打击 Deepfake，Meta 公司近日发布了一款工具，可以在 AI 生成的视频片段上添加难以察觉的水印。这款名为 Meta Video Seal 的工具于周四宣布开源，旨在集成到现有软件中。 该工具与 Meta 的其他水印工具 Watermark Anything（

随着AIGC技术的快速发展，图像编辑工具日益强大，图像篡改变得更加容易，也更难被察觉。 虽然现有的图像篡改检测和定位方法（IFDL）通常很有效，但它们往往面临两大挑战:一是“黑匣子”性质，检测原理不明;二是泛化能力有限，难以应对多种篡改方法(如Photoshop、DeepFake、AIGC编辑)。 为解决这些问题，北京大学的研究团队提出了可解释的IFDL任务，并设计了FakeShield，这是一个多模态框架，能够评估图像的真实性，生成篡改区域掩码，并基于像素级和图像级的篡改线索提供判断依据。传统

近期，Deepfake技术滥用事件在韩国引起广泛关注，近22万人通过Telegram传播AI生成的色情图片，对女性权益造成严重伤害。这一事件与"N号房事件"相呼应，凸显了AI技术滥用的社会危害。中国女工程师张欣怡及其团队针对这一问题，宣布将参加外滩大会AI创新赛的Deepfake模型向全球开源，旨在为对抗Deepfake技术滥用提供技术手段。该举动在社交媒体上获得广泛关注，视频播放量超过151万次。张欣怡表示，团队受到韩国事件启发，旨在通过技术手段为受害者提供保护。开源模型旨在降低使用门槛，让更多人能便捷地对抗Deepfake。此外，赛事设立奖金池鼓励技术人才，推动AI向善发展。尽管技术对抗是重要一环，还需从法律、教育等多层面构建全面防御体系，包括加强法律法规、提高公众媒体素养、培养负责任的技术使用文化等。张欣怡的行动为解决Deepfake问题提供范例，但解决这一问题需要社会各界共同努力。

微软与反仇色情组织StopNCII合作，为受害者提供清除搜索引擎上deepfake色情图像的工具。通过在设备上制作图像的数字指纹（哈希值），帮助在Bing等平台彻底清除相关合成裸体图像。此举措旨在应对生成式AI技术滥用引发的deepfake色情问题，解决仅靠用户举报难以有效应对的挑战。然而，谷歌尚未与StopNCII合作，美国对此类行为缺乏专门的联邦法律。旧金山的诉讼尝试可能推动制定更有力的法律。

纽约州宾汉姆顿大学研究员阿赫迈德・阿布丁・哈梅德开发了一款名为 xFakeSci 的机器学习算法，能够以高达94% 的准确率识别伪造的学术论文。哈梅德及其团队通过实验制作了50篇针对阿尔茨海默症、癌症和抑郁症的假论文，并与真实论文进行对比分析。他们发现，假论文中的双字组合数量明显少于真实论文，且与内容的关联性更强。哈梅德计划将该算法扩展到更多领域，以应对 AI 生成论文的挑战。虽然算法已取得显著进展，但仍有6% 的假论文可能未被检测。

作为目前发展最快的对抗性人工智能形式之一，深度伪造（Deepfakes ）相关的损失预计将从2023年的123亿美元飙升至2027年的400亿美元，复合年增长率将达到惊人的32%。德勤预计，未来几年深度造假将激增，银行和金融服务将成为主要目标。

​谷歌 DeepMind 首次进行了关于最常见的恶意 AI 应用的研究，结果显示生成虚假政治家和名人的人工智能（AI）“Deepfakes” 比用 AI 协助网络攻击的尝试更为普遍。这一研究是谷歌 AI 部门 DeepMind 和谷歌旗下的研发单位 Jigsaw 合作的，目的是量化生成 AI 工具的风险，这些工具已被全球最大的科技公司推向市场以寻求巨额利润。

["网络犯罪分子利用OnlyFake平台制作逼真假身份证件，绕过加密货币交易所的KYC验证。","15美元的工具包让不法分子轻松建立虚拟身份，引发网络安全社区担忧。","加密货币交易所如Binance、Kraken等已验证通过这些欺诈文件。","专家警告此技术可能被用于洗钱和金融欺诈，呼吁加强网络安全措施。","AI驱动的欺骗技术提醒人们加强网络安全，防止假身份轻易通过严格安全检查。"]

["火狐浏览器推出 Fakespot Chat AI 工具，帮助用户检测虚假评论。","AI 工具使用先进技术筛选真实和伪造评论。","通过减少用户的产品研究时间，帮助用户做出更好的购买决策。"]

["德国新闻主播 André Schünke 成为 Deepfake 滥用的受害者","骗子利用 Deepfake 制作虚假宣传视频","宣传一个 AI 支持的投资平台","Deepfake 技术的滥用对公众信任造成伤害","监管机构和技术公司应采取行动保护公众"]

["担心训练数据集中的偏见会导致少数族裔承受欺诈、诈骗和虚假信息的压力。","大部分深度伪造检测器是基于依赖于用于训练的数据集的学习策略。","专家们呼吁建立更具包容性的训练集和标准化的测量方法，以解决深度伪造检测工具的偏见问题。"]

["谷歌与环球音乐商讨艺人的声音和旋律授权，用于生成 AI 音乐。","他们计划开发一个工具，让人们能够使用艺人的声音创作 AI 音乐。","这项许可协议将支付版权所有者，并给予他们选择的权利，决定是否允许环球音乐和谷歌许可使用他们的声音。"]