随着生成式人工智能的商业化，网上虚假内容的数量急剧增加。根据身份验证平台Sumsub的数据显示，从2023年到2024年，全球深度伪造的数量增长了四倍。2024年，深度伪造占所有欺诈行为的7%，涉及从冒名顶替、账户接管到复杂的社会工程活动等多种形式。为应对这一问题，Meta发布了一款新的工具——Meta Video Seal，旨在通过在AI生成的视频中加入不可察觉的水印来打击深度伪造。这款工具于周四开源发布，旨在便于集成到现有的软件中，并与Meta之前推出的其他水印工具Watermark Anything和Audio Se

据南方都市报报道，公安部网安局近日公布的一起典型案例揭示了令人担忧的网络造谣新模式。广东广州公安机关成功侦破一起利用人工智能工具大规模制造虚假信息的犯罪团伙，抓获6名犯罪嫌疑人。犯罪团伙以赚取网络平台流量收益为目的，采用精心策划的犯罪手法:招募兼职人员注册自媒体账号，利用AI工具快速改写热门文章，批量发布虚假信息。据统计，该团伙累计发布引流图文信息超过50万篇，造成严重的网络信息污染。图源备注：图片由AI生成，图片授权服务商Midjourney调查发现，

在年初，关于生成式人工智能如何干扰全球选举、传播宣传和虚假信息的担忧广泛存在。然而，Meta 近日发布的报告显示，这些担忧并没有在其平台上实现。Meta 表示，在 Facebook、Instagram 和 Threads 等社交平台上，生成式人工智能对选举相关信息的影响极为有限。图源备注：图片由AI生成，图片授权服务商Midjourney根据 Meta 的研究，报告涵盖了多个国家和地区的重大选举，包括美国、孟加拉国、印度尼西亚、印度、巴基斯坦、欧盟议会、法国、英国、南非、墨西哥和巴西。Meta 指出，虽然在选举

最近，在德克萨斯州的一起案件中，一名律师因在法庭文件中使用人工智能生成的假案例和引用而受到惩罚。事件再次引发了人们对律师在法律工作中使用 AI 工具的关注。案件涉及的是针对固特异轮胎公司（Goodyear Tire & Rubber）提起的错误解雇诉讼。图源备注:图片由AI生成，图片授权服务商Midjourney美国东区德克萨斯州的地区法官尔西亚・克（Marcia Crone）于周一作出裁决，决定对原告律师布兰登・蒙克(Brandon Monk)处以2000美元的罚款，并要求他参加关于法律领域生成性 AI 的课程。此次裁决是近

在2024年美国总统选举后，网络上的虚假信息惊人的速度传播严重影响了美国人对候选人以及公共健康、气候变化和移民话题的看法。生成式人工智能的发展，加之其生成深度伪造内容的能力和 “幻觉” 事实的倾向，可能进一步加剧这一问题。图源备注:图片由AI生成，图片授权服务商Midjourney为应对这一挑战，挪威初创公司 Factiverse 应运而生。该公司参加了10月份的 TechCrunch Disrupt Battlefield200比赛，并在安全、隐私和社交网络类别中赢得了最佳演讲奖。Factiverse 开发了一款面向企业的工具，能

近期，一项由德国鲁尔大学波鸿、GESIS 莱布尼茨研究所和 CISPA 亥姆霍兹中心联合进行的研究揭示，使用 AI 生成头像的 X（前 Twitter）账户仅占所有账户的0.052%。研究人员对近1500万个 X 账户进行了分析，发现其中7723个账户使用了 AI 生成的头像。图源备注:图片由AI生成，图片授权服务商Midjourney这些账户表现出明显的特征:关注者较少，所关注的账户也不多，且超过一半是在2023年创建的，有些账户甚至在几小时内批量创建。研究的主要作者乔纳斯・里克（Jonas Ricker）指出，这清楚地表明这些账

近日，微软提交了一项专利申请，旨在通过一种技术方法减少或消除人工智能生成的虚假信息。该专利的名称为 “利用外部知识和反馈与语言模型互动”，于去年向美国专利商标局（USPTO）递交，并于10月31日公开。这一提案的核心是为 AI 模型提供一种 “响应增强系统”（RAS），使其能够根据用户的查询自动提取更多信息，并检查其回答的 “有效性”。具体来说，响应增强系统能够识别是否有来自 “外部来源” 的信息能够更好地回答用户的问题。如果 AI 的回答没有包含这些信息，该系统

最近，有一些用户在社交媒体平台 X 上，利用发布与美国选举有关的虚假信息、AI 生成的图片以及各种毫无根据的阴谋论，声称自己已经赚取了 “数千美元”。这些用户往往在网络上互相分享彼此的内容，每天转发多次，以此来增加自己的曝光率和收入。BBC 的一项调查发现，这些用户形成了一些网络，里面有数十个账户彼此互动，分享各种真假混杂的信息，目的是为了提升他们在平台上的影响力。这些人中，有些支持唐纳德・特朗普，有些支持卡马拉・哈里斯，还有一些则是独立的。虽

抖音近期发布公告，宣布将严厉打击利用AI技术制作虚假内容骗取老年人互动的行为。抖音鼓励创作者使用AI技术辅助创作，但所有内容必须遵守平台规范，严禁利用生成式AI技术发布违背科学常识、弄虚作假或造谣传谣的内容。公告指出，一些账号不当使用AI技术生成虚拟形象，如小和尚、军人、AI女性等，并采用特定话术诱导老年人进行点赞、关注、评论，甚至导流获利。这些行为违反了平台规则，抖音已对相关账号进行了严厉处罚，包括下架违规视频、取消投稿和营利权限、封禁账号等。

最近，Facebook 的母公司 Meta Platforms Inc. 宣布，他们将开始运用面部识别技术来打击那些利用名人照片进行的诈骗活动。这一举措的背后，是不断增长的社交媒体诈骗问题，尤其是虚假名人账户的猖獗。这些诈骗分子常常利用名人的照片来获取信任，并诱导用户进行金钱交易。图源备注：图片由AI生成，图片授权服务商MidjourneyMeta 表示，这项新技术的实施旨在提升平台用户的安全性。他们希望通过面部识别技术，能迅速识别出使用名人照片的虚假账户，并采取相应措施。此项技术的应用，标

近日，美国联邦贸易委员会（FTC）发起了一项名为 “AI 合规行动” 的执法行动，对五家涉嫌虚假宣传和欺诈行为的人工智能公司提起诉讼。FTC 表示，这些公司被指控在其软件的能力上撒谎，或利用 AI 技术实施违法行为。图源备注:图片由AI生成，图片授权服务商Midjourney在这五家被诉公司的案例中，有两家已经与 FTC 达成和解，而另外三家则选择在法庭上对抗 FTC 的指控。这三家公司分别是 Ascend Ecom、Ecommerce Empire Builders 和 FBA Machine。FTC 指出，这些公司声称能帮助客户通过其 AI 技术建立和管

最近，澳大利亚一位创业公司前 CEO 被美国司法部和证券交易委员会指控，涉嫌利用虚假的财务记录诈骗投资者，筹集了高达4000万美元的资金。这位名叫巴巴・纳迪姆帕利（Baba Nadimpalli）的41岁男子，是 Skael 公司的联合创始人和前 CEO。Skael 成立于2016年，声称能够通过 “数字员工” 替代人工，简化工作流程，提升效率。然而，事情的真相却大相径庭。根据一份在1月份解密的起诉书，Skael 宣称其软件能为每位员工每天节省2.5小时的工作时间，并每年为客户节省10万美元。可实际上，这些承诺

最近，安全研究员约翰・瑞贝格（Johann Rehberger）发现了一个关于 ChatGPT 的漏洞，这个漏洞可能让黑客在用户的长期记忆中植入虚假的信息和恶意指令。虽然他向 OpenAI 报告了这个问题，但不幸的是，该公司并没有给予足够重视，迅速关闭了相关调查，声称这并不算是安全问题。面对这样的情况，瑞贝格决定不放弃，开发了一个概念验证的攻击示例，利用这个漏洞可以将用户的所有输入数据永久性地窃取。OpenAI 看到这一情况后，于本月发布了一部分修复措施，试图解决这个问题。那么，这个

近日，OpenAI 官方在交平台 X 上的一个账号遭到黑客攻击，发布了一则虚假的加密货币广告。事情发生在周一晚上6点24分，名为 @OpenAINewsroom 的账号，这个账号专门分享 OpenAI 的新闻，粉丝近54，000人，突然发出了一条已经删除的推文，宣传一种名为 “$OPENAI” 的代币。这条推文声称:“我们非常高兴地宣布 $OPENAI:这个代币弥合了人工智能与区块链技术之间的差距。” 同时，推文还提到，所有 OpenAI 的用户都有机会领取 $OPENAI 的初始供应量，并且持有该代币的人将可以访问 OpenAI 未来的所有 bet

最近，一项由 Adobe 发布的 “AI 时代的真实性研究” 显示，随着人工智能生成内容的日益普及，许多人在获取信息时感到困惑和不安。这项针对2000名美国消费者的调查揭示，在即将到来的2024年美国总统选举中，人们对虚假信息的担忧愈演愈烈。调查显示，94% 的受访者表示，他们非常担心虚假信息会影响即将到来的选举结果。图源备注:图片由AI生成，图片授权服务商Midjourney更让人震惊的是，44% 的受访者在过去三个月内表示曾被误导，或曾相信过与选举相关的虚假信息。这一现象引起了 Ad

在巴西阿拉戈斯州的马塞约，G20国家的领导人于本周五达成了一项重要共识，决定共同努力打击虚假信息，并为人工智能的未来发展制定指导方针。这是 G20历史上首次明确承认虚假信息问题，并呼吁数字平台增强透明度和责任感。图源备注：图片由AI生成，图片授权服务商Midjourney巴西总统卢拉的数字政策秘书乔昂・布兰特在接受美联社采访时表示，G20代表们强调了数字平台必须符合相关政策和法律框架的重要性。此次会议期间，成员国还就人工智能的发展达成了一致，提出要 “伦理、透

近日，哈佛肯尼迪学院的“错误信息审查”研究发现，人工智能生成的虚假研究论文正在渗透到谷歌学术等学术搜索引擎中。这可能会削弱公众对科学发现的信任，并破坏依赖尖端研究的行业的产品开发。

厦门警方近日破获一起利用AI技术合成虚假视频事件，一男子任某（32岁，湖北人）因涉嫌发布不实信息被抓获。任某通过自动生成虚假内容、图片，再利用AI技术合成视频，在今日头条上发布了一段关于广东某地老人被殴打、孙子跳河自杀的谣言视频，引起广泛关注。其目的为增加粉丝数和流量以获利。任某承认，利用AI技术合成视频只需两三分钟。警方已对任某采取刑事强制措施，此事件警示公众谨慎使用AI工具，避免不良后果。

马斯克的社交媒体平台X（原Twitter）针对2024年总统选举的虚假信息问题作出调整，特别针对其AI系统Grok，以引导用户至官方信息源，如vote.gov，获取最新的选举信息。多位美国国务卿对Grok在处理选举相关问题时的错误表示担忧，指出其可能导致信息混乱，并要求其改正。Grok在总统拜登宣布退出竞选后，错误地声称某些州的选票截止日期已过，引发了广泛关注。X平台的调整得到了国务卿们的认可，但仍面临民主党议员对虚假图像的调查需求，以及对可能的欺诈行为的担忧。马斯克面临巨大压力，需确保平台信息准确，避免影响选举公正性。

研究人员提出“人类身份凭证”(PHC)系统，作为替代传统CAPTCHA验证的新方式，以确认在线用户为真人。该系统通过零知识证明加密技术为每个用户提供唯一身份凭证，存储于个人设备，保护隐私，替代CAPTCHA和生物识别。然而，系统面临凭证滥用、权力集中、使用障碍等问题。研究建议政府通过试点项目测试PHC可行性，同时呼吁技术公司应对AI引发的问题负责，如给AI生成内容添加水印或开发识别技术。这一创新旨在解决AI普及带来的安全挑战，但需解决用户数字负担和责任分配问题。