Reddit 正在采取行动阻止 AI 公司爬取其内容,或者至少要求它们付费。

本周早些时候,Reddit 宣布正在更改其机器人排除协议,也称为其 robots.txt 文件。这个看似枯燥的编辑是 AI 公司渴望用于训练其语言模型的内容所有者之间的一场更大的谈判 / 战斗的一部分。

AI助教 机器人

图源备注:图片由AI生成,图片授权服务商Midjourney

“Robots.txt” 是网站向第三方通信网站如何被爬取的方式,经典的例子是允许 Google 爬取它们以便包含在搜索结果中的网站。

就人工智能而言,价值交换就没那么明显了。当您运行的网站的商业模式涉及吸引点击和眼球时,让 AI 公司吸取您的内容并且不发送任何流量(在某些情况下,他们会直接剽窃您的工作)并不具有吸引力。

因此,通过更改其 robots.txt 文件,并继续对未知机器人和爬虫进行评级限制和阻止,Reddit 似乎正在努力防止像 Perplexity AI 这样的公司被批评的做法。

划重点:

- 📢 Reddit 正在采取行动阻止 AI 公司爬取其内容,或者至少要求它们付费。

- 🤖 Robots.txt 是网站向第三方通信网站如何被爬取的方式,经典的例子是允许 Google 爬取它们以便包含在搜索结果中的网站。

- 💻 Reddit 更改其 robots.txt 文件,并继续对未知机器人和爬虫进行评级限制和阻止,以防止像 Perplexity AI 这样的公司被批评的做法。