美国佛罗里达州一名男子因涉嫌利用人工智能生成儿童色情内容而被捕，面临多达20项淫秽罪名。这名电影院工作人员在社交应用Kik上分发使用AI图像生成器制作的儿童色情图像，引发广泛关注。案件涉及生成式人工智能的滥用，促使各级立法者推动立法禁止不当内容传播。去年，国家失踪与被剥削儿童中心收到4700起相关举报，包括利用生成式AI制作真实儿童的深度伪造图像进行敲诈。斯坦福大学研究发现，广泛使用的生成式AI图像数据集中存在数百张儿童性虐待图像。互联网观察基金会的首席技术官表示，问题在于内容通过开源软件生成并可在个人电脑上本地运行，解决难度加大。

安格利亚鲁斯金大学的报告揭示，AI生成的儿童性虐待图片需求在黑暗网络上迅速增长。研究者德安娜・达维博士和萨姆・伦德里根教授分析了过去12个月的黑暗网络论坛聊天记录，发现在线犯罪分子利用AI技术制作儿童色情材料的兴趣在增加。他们通过自学和分享经验，在线创建AI生成的虐待图像。研究指出，AI技术带来的问题是，执法机构在理解和应对AI生成的材料时面临巨大挑战。使用AI生成此类材料不仅加剧了对儿童的伤害，也使得犯罪活动更加隐蔽和复杂。这一现象反映了全球在线儿童虐待威胁的加剧，需要引起足够重视。

["美国50州总检察长联名要求国会成立委员会,研究AI生成儿童色情内容的影响","委员会应提出解决方案,防止AI被用来生成虚假的儿童性虐待内容","呼吁扩大法律范围,明确将AI生成的儿童色情内容列入违法范围"]