最近，美国的一些大型人工智能公司再次向白宫做出了庄重的承诺，表示将会阻止他们的 AI 产品被用于生成非自愿的深度伪造色情内容以及儿童性虐待材料。包括 Adobe、Anthropic、Cohere、微软、OpenAI 和开放源代码网络数据存储库 Common Crawl 在内的六家公司，签署了这一非约束性的承诺，力求保障其产品不会被滥用于制造有害的性别暴力图像。图源备注:图片由AI生成，图片授权服务商Midjourney白宫表示，随着 AI 技术的迅速发展，基于图像的性别暴力案件急剧上升，已成为近年来最令人担忧的 A

在当今，深度伪造和合成媒体由于生成式人工智能（gen AI）的发展而愈加普遍。为了应对这一挑战，许多组织正在努力完善数字水印技术，以便追踪内容的来源。尽管目前还没有一个组织完全成功，但 “内容来源和真实性联盟”（C2PA）正在壮大其成员队伍。C2PA 宣布，亚马逊已成为该组织的新一届指导委员会成员。C2PA 是一个隶属于 Linux 基金会的开放性技术标准机构，旨在通过制定技术标准来应对网上虚假信息的盛行。该组织由 Adobe 共同创立，负责维护 “内容凭证” 这一方法，旨在提高

随着人工智能技术的不断进步，伪造图像和视频的难度越来越低，深度伪造（deepfake）现象愈发严重，如何识别这些虚假内容成了一个亟待解决的问题。近期，宾汉姆顿大学的研究团队对此进行了深入探讨，他们利用频域分析技术，揭示了 AI 生成图像的特征，从而帮助人们识别虚假信息。图源备注：图片由AI生成，图片授权服务商Midjourney这项研究由电气与计算机工程系的教授 Yu Chen 以及博士生 Nihal Poredi 和 Deeraj Nagothu 主导，另外还包括来自维吉尼亚州立大学的硕士生 Monica Sudarsan 和教授 En

新加坡近期提出一项新法案，旨在大选期间禁止使用深度伪造技术，以确保信息真实性和选举公正性。随着生成式人工智能技术的发展，深度伪造内容风险增加，该法案针对利用AI和非AI技术制造的虚假内容进行监管，包括视频、音频和图像等。核心规定禁止在选举期间发布虚假描绘候选人言行的在线广告，违规者将面临罚款或监禁。法案还允许对发布虚假内容的个人及社交媒体平台发出纠正指令，要求删除相关内容，并对互联网服务提供商实施选举期间访问限制。此外，候选人有权对可能存在违规行为的内容进行审查，提交声明以证明其真实性。故意提交虚假或误导性声明的候选人将受到处罚。政府计划制定行业规范，要求特定社交媒体平台采取措施防止虚假内容传播。此法案在国会提出，预计将于明年年初或2025年11月前的大选中实施。

随着2024年美国总统大选临近，生成式人工智能（AI）正逐渐成为选举战场的新角色。AI技术可生成虚假图片、视频和音频，影响选民决策，这一趋势已在多个场合展现。例如，前总统特朗普分享的AI合成图片试图误导公众，而新罕布什尔州的居民则遭遇了深度伪造的电话，意图阻止他们参与民主党初选。专家警告，AI虚假信息的影响可能实质性地改变选举结果，且当前识别技术尚不成熟。生成式AI应用广泛，易于被恶意利用。类似现象在印度、印尼和韩国等国已有发生，尽管其对选民决策的具体影响尚不明晰。生成内容的真假难以辨别，技术发展使AI生成内容愈发逼真。去年，拜登政府获得科技巨头承诺合作应对AI风险，但缺乏法律约束力。未来可能需要联邦立法专门管控政治竞选中的虚假内容。社交媒体平台亦可发挥关键作用，通过标签或限制AI生成内容传播。然而，现有检测工具效果有限，难以提供确凿判断。随着AI技术的迅速发展，选举前的网络混乱风险增加。最终，大选结果的不确定性与AI的潜在影响让整个选举过程充满变数。

韩国深度伪造犯罪问题引发社会广泛关注，尤其针对未成年人的案例频发，涉及人数估计近22万。受害群体广泛，包括学生、教师、军人等，其中未成年人比例较高。犯罪手段通过社交媒体迅速传播，部分受害者信息被用于不法群组的验证。针对女性的深度伪造案件特别引人关注，已知受害学校超过100所，涵盖国内和海外韩国国际学校。对此，韩国总统呼吁加强调查和根除利用数字技术进行的犯罪行为，并强调政府需采取更有力措施打击此类犯罪，同时加强法治教育，保护女性权益。社会各界对此表示强烈关注，要求政府立即采取行动。

美国联邦通信委员会(FCC)对电信公司Lingo Telecom罚款100万美元，因该公司传播了一通伪造的乔・拜登总统语音机器人电话，试图影响新罕布什尔州的选民。调查发现，这通电话背后的推手是政治顾问史蒂夫・克莱默，FCC此前提议对其处以600万美元的罚款。为了达成与Lingo的和解，FCC要求该公司今后严格遵守来电显示认证规则，包括实施“了解你的客户”(KYC)原则，以加强客户信息核实，维护通信网络的信任。此事件凸显了深度伪造技术在政治传播中的潜在风险，以及监管机构对保持通信安全和透明度的重视。

旧金山市副市长律师 Yvonne Meré 发起了针对16个利用人工智能技术制造深度伪造色情内容的网站的诉讼。这些网站未经女性和女孩同意，使用AI技术将她们的照片处理成裸体图像，引发法律和道德争议。诉讼旨在打击这一在青少年中愈演愈烈的有害趋势，尤其是那些利用“脱衣应用”操控同学图片的行为。这些网站在前六个月被访问了2亿次，提供免费初步服务，后续处理需付费，包括加密货币或信用卡。深度伪造技术依赖于训练AI模型生成真实感极强的裸体照片。诉讼不仅寻求关闭网站，还要求支付民事罚款和律师费，并指控这些网站违反了国家和地方的报复色情法律、儿童色情法律以及加利福尼亚的不公平竞争法。这场诉讼体现了对保护女性隐私和权益的重视，同时揭示了深度伪造色情内容对受害者心理健康、声誉及未来机会的严重影响。

谷歌近期采取行动打击非自愿深度伪造内容，响应了公众关注及立法压力。在八个月前泰勒・斯威夫特事件后，科技公司和立法者开始认真对待这一问题。谷歌宣布将措施以避免色情深度伪造内容出现在搜索结果中，包括简化受害者移除非自愿色情图像流程、过滤色情搜索结果、删除重复图像，以及优化搜索结果，减少深度伪造内容曝光。亨利・阿杰德赞同谷歌举措，认为能大幅减少非自愿内容的曝光。尽管这一进展是积极的，但仍有更多工作要做，包括加强监管、引入水印技术、建立保护机制等。阿杰德呼吁互联网平台采取更有力措施，严格禁止和处理非自愿深度伪造内容，强调其性质应像儿童色情一样受到严厉打击。

谷歌推出了一系列在线安全举措，旨在清除搜索中的深度伪造内容，特别是涉及未经同意的露骨图像。当用户请求移除此类内容时，系统不仅处理特定内容，还过滤掉相关类似结果，甚至删除重复图片。为阻止这类内容在搜索结果中显眼位置出现，谷歌调整了搜索排名机制，对于寻找真人深度伪造图片的查询，展示高质量、非露骨的内容，如新闻报道。对于含有大量移除的虚假露骨图片的网站，其在搜索结果中的排名将被降级。这些更新是谷歌为应对网络危险和露骨内容的一系列举措的一部分，包括禁止广告商推广深度伪造色情服务、扩大可从搜索中删除的人肉搜索信息类型，以及自2023年8月起默认模糊色情图片。

微软副董事长布拉德·史密斯向美国国会呼吁，希望出台针对AI生成深度伪造技术的法律，以保护公民免受诈骗和操纵。他指出，虽然行业和非营利组织已采取措施应对这一问题，但法律需与时俱进以打击深度伪造诈骗。史密斯强调，应制定全面的“深度伪造诈骗法”，为执法提供法律框架，起诉利用技术进行诈骗的网络犯罪分子。他还呼吁更新关于儿童性虐待和非自愿亲密影像的法律，涵盖AI生成的内容。最近的参议院法案专门针对非自愿色情深度伪造内容，允许受害者起诉创作者。微软在自家AI产品中加强安全控制，以防止误用，并呼吁AI系统提供商使用先进溯源工具标记合成内容，以增强公众对信息的信任。

美国参议院一致通过了《The Disrupt Explicit Forged Images and Non-Consensual Edits Act》法案，旨在打击未经同意制作的色情深度伪造图像，为受害者提供法律途径追究责任。该法案将赋予受害者针对制作或传播虚假图像的个人或组织提起诉讼的权利，赔偿金额最高可达25万美元，旨在保护公众人物和青少年免受此类问题的困扰。法案还需通过众议院审议并由总统签署，被视为对人工智能滥用干预的重要一步，旨在保护受害者权益并应对新兴技术带来的社会挑战。

英国互联网观察基金会(IWF)报告指出，AI生成的儿童性虐待内容(CSAM)在网络上的激增令人担忧。在他们春季30天的调查中，黑暗网络论坛上有3,512部利用AI制作的CSAM，较前一年同期增加17%。报告详细指出，内容真实度和严重程度均有上升，其中涉及极端或露骨性行为的比例有所增加。当前合成视频虽未达高度逼真，技术进步令其快速逼近现实。此增长趋势导致两个主要问题：一是追踪技术发展使得监管和执法难题加深，尤其是在小型AI程序方面；二是缺乏明确法律界定，尤其是在涉及AI生成内容的犯罪范畴。虽然这个问题在技术上日益复杂，FBI已表示会严肃对待指控，举报官称鼓励受害者立即报告。

Resemble AI，一家领先的语音克隆公司，近日宣布发布了其下一代深度伪造检测模型 Detect-2B。这款新模型在检测 AI 生成的音频方面表现出了约94%的高准确率，标志着深度伪造检测技术的又一重要进步。

​谷歌 DeepMind 首次进行了关于最常见的恶意 AI 应用的研究，结果显示生成虚假政治家和名人的人工智能（AI）“Deepfakes” 比用 AI 协助网络攻击的尝试更为普遍。这一研究是谷歌 AI 部门 DeepMind 和谷歌旗下的研发单位 Jigsaw 合作的，目的是量化生成 AI 工具的风险，这些工具已被全球最大的科技公司推向市场以寻求巨额利润。

["奇安信集团发布《2024人工智能安全报告》","2023年基于AI的深度伪造欺诈激增3000%","基于AI的钓鱼邮件增长了1000%","有国家背景的APT组织利用AI实施了十余起网络攻击事件","人工智能技术的恶意使用将快速增长"]

["500 多名 AI 专家联署公开信，要求政府出台法律监管深度伪造。","公开信呼吁刑事化处理深度伪造儿童性虐待材料。","签署者包括全球多个领域学者，呼吁全面阻止深度伪造传播。","专家呼吁政府采取行动应对深度伪造日益增长的威胁。"]

["McAfee最近推出了名为“Mockingbird”的项目，旨在应对使用人工智能生成的深度伪造技术进行音频欺诈的问题。","该计划采用了McAfee的AI深度伪造音频检测技术，被命名为“Mockingbird”。","旨在检测使用AI生成的深度伪造技术，通过音频欺诈消费者，防范虚假新闻等骗局。","计划采用人工智能深度伪造音频检测技术，综合应用上下文、行为和类别检测模型，准确率超过90%"]

["生成型AI的兴起被誉为下一个工业革命","计算机能产生幻觉，生成型AI赋予了新意义","生成型AI工具让深度伪造变得容易"," AI模型在整个互联网上训练的警报","生成型AI的语言越来越自然"]

["2023年9月，使用人工智能进行深度伪造的应用和网站访问量激增，达到2400万人次。","社交媒体广告推动这些服务，广告链接在社交媒体上的增长超过2400%，引发对非同意深度伪造色情的担忧。","随着AI技术进步，深度伪造软件更易于制作，普通人成为目标，引发隐私和法律问题。","针对这一趋势，一些平台已开始采取措施，如TikTok和Meta Platforms屏蔽相关关键词。"]