美国佛罗里达州一名男子因涉嫌利用人工智能生成儿童色情内容而被捕，面临多达20项淫秽罪名。这名电影院工作人员在社交应用Kik上分发使用AI图像生成器制作的儿童色情图像，引发广泛关注。案件涉及生成式人工智能的滥用，促使各级立法者推动立法禁止不当内容传播。去年，国家失踪与被剥削儿童中心收到4700起相关举报，包括利用生成式AI制作真实儿童的深度伪造图像进行敲诈。斯坦福大学研究发现，广泛使用的生成式AI图像数据集中存在数百张儿童性虐待图像。互联网观察基金会的首席技术官表示，问题在于内容通过开源软件生成并可在个人电脑上本地运行，解决难度加大。