随着人工智能技术的迅猛发展，深度伪造内容逐渐引发了社会的广泛关注。为了应对这一新兴问题，加州于新年伊始出台了一系列新的法律法规，旨在加强对人工智能生成的深度伪造内容的监管。这些法律将影响社交媒体平台、内容创作者以及相关行业，标志着对 AI 技术应用的监管进入了一个新的阶段。图源备注:图片由AI生成，图片授权服务商Midjourney其中一项重要法律是扩大了针对儿童色情的法律范围。新法规明确指出，任何通过人工智能技术生成的未成年人的色情图像均被视为违法。

近年来，从语音助手到自动驾驶技术，AI已深入到生活的方方面面。然而，AI技术的广泛应用也带来了一些潜在的风险，其中深度伪造技术引发了社会关注。深度伪造技术利用算法生成高度逼真的虚假内容，通过学习大量真实数据，生成与人物或场景极为相似的视频或图像。尽管这一技术展示了AI的强大，但也滋生了欺诈行为。例如，近期出现了冒用张文宏医生形象和声音进行直播带货的事件。伪造视频中，合成人像宣称某产品，致使超过1200件商品售出。此事引发张文宏医生和社会公众的强

Meta 公司近日发布了一项名为 Video Seal 的新型神经水印系统，该系统旨在帮助识别 AI 生成的视频，即使视频经过编辑也能有效追踪其来源。这种水印对于观众而言是不可见的，但可以通过检测来验证视频的真实性。Meta 将整套系统以 MIT 许可的开源软件形式发布，包括 Video Seal 水印模型、研究论文以及训练和推理代码。此外，Meta 还发布了一个交互式演示，允许用户亲自测试这项技术。除了 Video Seal 之外，Meta 还推出了两款辅助工具:Omni Seal Bench，用于比较不同类型媒体的神经水印性能;以及

近日，一段视频在网络上引起了广泛关注，视频中出现了一个模仿张文宏的账号在直播带货，出售一种蛋白棒。许多网友对此产生疑问，“张文宏是不是在带货?” 更令人担忧的是，部分年长观众对这一视频深信不疑，甚至已经下单并在社交群里转发了该信息。经过记者的核实，发现视频中的张文宏并非真人，而是通过 AI 技术合成的深度伪造。对此，张文宏回应表示，这样的卖货账号不止一个，且一直在变，他已多次向平台投诉。这件事情已经有几个星期了，一开始进行了投诉。特别是有

随着深度伪造技术的普及，网络上虚假内容的数量激增。据 ID 验证平台 Sumsub 的数据，从2023到2024年，深度伪造的数量增长了四倍，2024年深度伪造内容占所有欺诈的7%。这其中包括身份冒充、账户接管以及复杂的社会工程攻击等各种形式。为了应对这一挑战，Meta 公司最近推出了一款新的水印工具 ——Meta Video Seal，旨在为 AI 生成的视频片段添加几乎不可察觉的水印。该工具已开源，并且设计上能够与现有软件无缝集成。Meta Video Seal 加入了 Meta 现有的其他水印工具，如 Watermark Anything 和 Audi

随着生成式人工智能的商业化，网上虚假内容的数量急剧增加。根据身份验证平台Sumsub的数据显示，从2023年到2024年，全球深度伪造的数量增长了四倍。2024年，深度伪造占所有欺诈行为的7%，涉及从冒名顶替、账户接管到复杂的社会工程活动等多种形式。为应对这一问题，Meta发布了一款新的工具——Meta Video Seal，旨在通过在AI生成的视频中加入不可察觉的水印来打击深度伪造。这款工具于周四开源发布，旨在便于集成到现有的软件中，并与Meta之前推出的其他水印工具Watermark Anything和Audio Se

最近，斯坦福大学的传播学教授杰夫・汉考克（Jeff Hancock）因在一宗涉及政治深伪视频的案件中被指控使用人工智能伪造证词而引发广泛关注。该案件由明尼苏达州检察长基思・埃里森(Keith Ellison)提起，针对明尼苏达州近期通过的禁止政治深伪视频的法律，该被认为可能对言论自由构成威胁。图源备注:图片由AI生成，图片授权服务商Midjourney汉考克教授在此中提交了一份专家声明，支持检察长所倡导的法律。然而，告律师团队发现，汉考克引用的一项名为《深伪视频对政治度和行为的影响》

近日，明尼苏达州一项关于 “使用深度伪造技术影响选举” 的法律正在进行的联邦诉讼中，出现了新的争议。原告律师团在最新的法律文件中指出，支持这一法律的宣誓书可能包含了由人工智能生成的文本。图源备注:图片由AI生成，图片授权服务商Midjourney根据《明尼苏达改革者》的报道，该州的司法部长基思・埃里森（Keith Ellison）曾要求斯坦福社交媒体实验室的创始主任杰夫・汉考克(Jeff Hancock)提供相关证据。然而，汉考克所提交的宣誓书中提到的几项研究并没有实质证据，且显示出可

在2024年美国总统选举后，网络上的虚假信息惊人的速度传播严重影响了美国人对候选人以及公共健康、气候变化和移民话题的看法。生成式人工智能的发展，加之其生成深度伪造内容的能力和 “幻觉” 事实的倾向，可能进一步加剧这一问题。图源备注:图片由AI生成，图片授权服务商Midjourney为应对这一挑战，挪威初创公司 Factiverse 应运而生。该公司参加了10月份的 TechCrunch Disrupt Battlefield200比赛，并在安全、隐私和社交网络类别中赢得了最佳演讲奖。Factiverse 开发了一款面向企业的工具，能

新加坡最近在网络安全方面发布了一系列重要公告，特别是针对人工智能（AI）系统的安全指南，以及禁止在选举广告中使用深度伪造技术的立法。这些举措旨在帮助组织在 AI 的开发和部署过程中降低潜在风险，确保技术的安全性。图源备注:图片由AI生成，图片授权服务商Midjourney新加坡网络安全局（CSA）推出的《AI 系统安全指南》强调了 “设计即安全” 的理念，旨在帮助企业识别和应对各种网络安全威胁。指南分为五个阶段，涵盖了 AI 生命周期的各个环节，包括开发、运营和维护，甚至

Zoom正准备为用户带来一项令人惊叹的新功能，但我们可能要等到明年才能一睹其真容。这家视频会议巨头在其年度开发者大会上宣布，他们将推出一项能够将用户视频转化为AI驱动的逼真数字化身的功能。这个数字化身不仅包括头部，还有上臂和肩膀，堪称"数字分身"。用户只需输入想要数字化身说的内容，Zoom就能生成与头像唇形同步的音频。听起来很神奇，对吧?Zoom的首席产品官Smita Hashim表示，这项功能旨在帮助人们以"更快、更高效"的方式与同事进行"异步"交流。她强调，这种头像可以

AI技术如同一把双刃剑，既能带来便利，也可能造成风险。为了更好地管理这些风险，加州州长加文·纽森（Gavin Newsome）近期签署了九项法案，专门针对AI生成内容，尤其是深度伪造(deepfakes)现象进行规范。图源备注:图片由AI生成，图片授权服务商Midjourney在这些法案中，SB1047法案特别引人注目，它要求AI开发者必须采取安全措施，以减少技术可能引发的灾难性事件，比如大规模伤亡或网络攻击。纽森州长尚未明确表示对该法案的态度。AB2602和AB1836两项法案则聚焦于保护演员和表演者的权益。

近日，加州州长加文·纽瑟姆签署了八项法律，针对人工智能领域的挑战。这些法律旨在解决人工智能系统带来的生存风险、人工智能图像生成器的深度伪造裸照、好莱坞工作室为已故演员制作人工智能克隆体等问题。其中，SB926将深度伪造裸照制作和传播定为犯罪，规定使用与他人相似的人工智能生成的裸照勒索他人属于非法行为。SB981法案要求社交媒体平台建立用户举报渠道，举报内容与自己相似的深度伪造裸照。平台调查期间，相关内容必须暂时屏蔽，一经确认，则必须永久删除。图

最近，美国的一些大型人工智能公司再次向白宫做出了庄重的承诺，表示将会阻止他们的 AI 产品被用于生成非自愿的深度伪造色情内容以及儿童性虐待材料。包括 Adobe、Anthropic、Cohere、微软、OpenAI 和开放源代码网络数据存储库 Common Crawl 在内的六家公司，签署了这一非约束性的承诺，力求保障其产品不会被滥用于制造有害的性别暴力图像。图源备注:图片由AI生成，图片授权服务商Midjourney白宫表示，随着 AI 技术的迅速发展，基于图像的性别暴力案件急剧上升，已成为近年来最令人担忧的 A

在当今，深度伪造和合成媒体由于生成式人工智能（gen AI）的发展而愈加普遍。为了应对这一挑战，许多组织正在努力完善数字水印技术，以便追踪内容的来源。尽管目前还没有一个组织完全成功，但 “内容来源和真实性联盟”（C2PA）正在壮大其成员队伍。C2PA 宣布，亚马逊已成为该组织的新一届指导委员会成员。C2PA 是一个隶属于 Linux 基金会的开放性技术标准机构，旨在通过制定技术标准来应对网上虚假信息的盛行。该组织由 Adobe 共同创立，负责维护 “内容凭证” 这一方法，旨在提高

随着人工智能技术的不断进步，伪造图像和视频的难度越来越低，深度伪造（deepfake）现象愈发严重，如何识别这些虚假内容成了一个亟待解决的问题。近期，宾汉姆顿大学的研究团队对此进行了深入探讨，他们利用频域分析技术，揭示了 AI 生成图像的特征，从而帮助人们识别虚假信息。图源备注：图片由AI生成，图片授权服务商Midjourney这项研究由电气与计算机工程系的教授 Yu Chen 以及博士生 Nihal Poredi 和 Deeraj Nagothu 主导，另外还包括来自维吉尼亚州立大学的硕士生 Monica Sudarsan 和教授 En

新加坡近期提出一项新法案，旨在大选期间禁止使用深度伪造技术，以确保信息真实性和选举公正性。随着生成式人工智能技术的发展，深度伪造内容风险增加，该法案针对利用AI和非AI技术制造的虚假内容进行监管，包括视频、音频和图像等。核心规定禁止在选举期间发布虚假描绘候选人言行的在线广告，违规者将面临罚款或监禁。法案还允许对发布虚假内容的个人及社交媒体平台发出纠正指令，要求删除相关内容，并对互联网服务提供商实施选举期间访问限制。此外，候选人有权对可能存在违规行为的内容进行审查，提交声明以证明其真实性。故意提交虚假或误导性声明的候选人将受到处罚。政府计划制定行业规范，要求特定社交媒体平台采取措施防止虚假内容传播。此法案在国会提出，预计将于明年年初或2025年11月前的大选中实施。

随着2024年美国总统大选临近，生成式人工智能（AI）正逐渐成为选举战场的新角色。AI技术可生成虚假图片、视频和音频，影响选民决策，这一趋势已在多个场合展现。例如，前总统特朗普分享的AI合成图片试图误导公众，而新罕布什尔州的居民则遭遇了深度伪造的电话，意图阻止他们参与民主党初选。专家警告，AI虚假信息的影响可能实质性地改变选举结果，且当前识别技术尚不成熟。生成式AI应用广泛，易于被恶意利用。类似现象在印度、印尼和韩国等国已有发生，尽管其对选民决策的具体影响尚不明晰。生成内容的真假难以辨别，技术发展使AI生成内容愈发逼真。去年，拜登政府获得科技巨头承诺合作应对AI风险，但缺乏法律约束力。未来可能需要联邦立法专门管控政治竞选中的虚假内容。社交媒体平台亦可发挥关键作用，通过标签或限制AI生成内容传播。然而，现有检测工具效果有限，难以提供确凿判断。随着AI技术的迅速发展，选举前的网络混乱风险增加。最终，大选结果的不确定性与AI的潜在影响让整个选举过程充满变数。

韩国深度伪造犯罪问题引发社会广泛关注，尤其针对未成年人的案例频发，涉及人数估计近22万。受害群体广泛，包括学生、教师、军人等，其中未成年人比例较高。犯罪手段通过社交媒体迅速传播，部分受害者信息被用于不法群组的验证。针对女性的深度伪造案件特别引人关注，已知受害学校超过100所，涵盖国内和海外韩国国际学校。对此，韩国总统呼吁加强调查和根除利用数字技术进行的犯罪行为，并强调政府需采取更有力措施打击此类犯罪，同时加强法治教育，保护女性权益。社会各界对此表示强烈关注，要求政府立即采取行动。

美国联邦通信委员会(FCC)对电信公司Lingo Telecom罚款100万美元，因该公司传播了一通伪造的乔・拜登总统语音机器人电话，试图影响新罕布什尔州的选民。调查发现，这通电话背后的推手是政治顾问史蒂夫・克莱默，FCC此前提议对其处以600万美元的罚款。为了达成与Lingo的和解，FCC要求该公司今后严格遵守来电显示认证规则，包括实施“了解你的客户”(KYC)原则，以加强客户信息核实，维护通信网络的信任。此事件凸显了深度伪造技术在政治传播中的潜在风险，以及监管机构对保持通信安全和透明度的重视。