Cloudflare 于周三为网站托管客户提供了一种阻止 AI 机器人抓取网站内容并未经允许使用数据训练机器学习模型的方法。
它是基于客户对 AI 机器人的厌恶，并表示为了帮助保护内容创作者在互联网上的安全，该公司在一份声明中称。
图源备注：图片由AI生成，图片授权服务商Midjourney
“我们清楚地听到客户不希望 AI 机器人访问他们的网站，尤其是那些不诚实地这样做的。为了帮助，我们添加了一个全新的一键封堵所有 AI 机器人的功能。”
对网站所有者来说，已经有一种相对有效的方法可以阻止机器人，那就是广泛可用的 robots.txt 文件。当放置在网站的根目录时，自动网络爬虫应该会注意到并遵守文件中告诉它们不要进入的指令。
鉴于普遍认为生成式 AI 是基于盗窃行为，并有许多法律诉讼试图追究 AI 公司的责任，从事 “洗净” 内容的公司慷慨地让网络发布者选择不参与窃取。
去年八月，OpenAI 发布了有关如何使用 robots.txt 指令阻止其 GPTbot 网络爬虫的指导，可能是因为意识到人们担心内容被擅自抓取并用于 AI 训练而没有同意。谷歌在随后的一个月也采取了类似的措施。同样在去年九月，Cloudflare 开始提供一种阻止遵守规则的 AI 机器人的方法，据称85% 的客户启用了此阻止功能。
划重点:
⭐️ Cloudflare 推出一键封堵 AI 网络爬虫功能，确保网站内容不被未经允许的 AI 机器人使用。
⭐️ 生成式 AI 被视为盗窃源头，各大公司纷纷采取措施阻止 AI 机器人未经授权地擅用内容。
⭐️ Cloudflare 利用机器学习模型识别和阻止伪装的网络爬虫，保障内容创作者在互联网上的权益。