随着生成式人工智能的商业化，网上虚假内容的数量急剧增加。根据身份验证平台Sumsub的数据显示，从2023年到2024年，全球深度伪造的数量增长了四倍。2024年，深度伪造占所有欺诈行为的7%，涉及从冒名顶替、账户接管到复杂的社会工程活动等多种形式。为应对这一问题，Meta发布了一款新的工具——Meta Video Seal，旨在通过在AI生成的视频中加入不可察觉的水印来打击深度伪造。这款工具于周四开源发布，旨在便于集成到现有的软件中，并与Meta之前推出的其他水印工具Watermark Anything和Audio Se

抖音近期发布公告，宣布将严厉打击利用AI技术制作虚假内容骗取老年人互动的行为。抖音鼓励创作者使用AI技术辅助创作，但所有内容必须遵守平台规范，严禁利用生成式AI技术发布违背科学常识、弄虚作假或造谣传谣的内容。公告指出，一些账号不当使用AI技术生成虚拟形象，如小和尚、军人、AI女性等，并采用特定话术诱导老年人进行点赞、关注、评论，甚至导流获利。这些行为违反了平台规则，抖音已对相关账号进行了严厉处罚，包括下架违规视频、取消投稿和营利权限、封禁账号等。

研究人员提出“人类身份凭证”(PHC)系统，作为替代传统CAPTCHA验证的新方式，以确认在线用户为真人。该系统通过零知识证明加密技术为每个用户提供唯一身份凭证，存储于个人设备，保护隐私，替代CAPTCHA和生物识别。然而，系统面临凭证滥用、权力集中、使用障碍等问题。研究建议政府通过试点项目测试PHC可行性，同时呼吁技术公司应对AI引发的问题负责，如给AI生成内容添加水印或开发识别技术。这一创新旨在解决AI普及带来的安全挑战，但需解决用户数字负担和责任分配问题。

谷歌研究人员警告生成式人工智能（GenAI）正在用虚假内容危害互联网，谷歌在这一“真假大战”中扮演着双重角色：既是推动者也是制造者。AI错误信息，如“披萨上涂胶水”、“吃石头”的荒谬建议，最终需手动删除。滥用方式包括篡改人类肖像和伪造证据，目的多为影响舆论、诈骗或牟利。虽然风险尚未构成生存威胁，但正日益严重，滥用案例多为对系统正常使用的常规操作，占9成。生成虚假信息成本低，互联网面临混乱，公众辨别真假能力受考验。这不仅污染公开数据，还可能扭曲社会政治现实和科学共识的理解。谷歌的研究揭示了这一问题的严重性，可能促使自我救赎和整个互联网社会的警醒。