最近，苹果在推出新的 AI 功能时遇到了一些挑战。许多大型网站纷纷封锁了苹果的 AI 爬虫，苹果被迫与这些网站进行许可协议的谈判。这种情况与谷歌形成鲜明对比，后者由于其强大的市场影响力，能够施加压力，迫使出版商允许其 AI 访问内容。
根据《WIRED》的一项报道，像 Facebook、Instagram、Craigslist、Tumblr、纽约时报、金融时报、The Atlantic、Vox 媒体、USA Today Network 以及 Condé Nast 等知名网站都在阻止苹果的 AI 爬虫 Applebot-Extended 的访问。这些出版商中，有一些已经与 OpenAI 达成了协议，允许其 AI 使用他们的内容。
为了应对这一局面，苹果最近推出了新的爬虫工具 Applebot-Extended。网站运营者可以通过 robots.txt 文件来阻止这个爬虫。根据《WIRED》的分析，在1000个被分析的网站中，大约有7% 选择了阻止这一 AI 爬虫。而数据记者 Ben Welsh 的另一项分析显示，在1167个主要是美国的英文出版物中，有294个阻止了 Applebot-Extended 的访问。
除了苹果，Anthropic 和 OpenAI 等公司也面临着类似的挑战。其中，OpenAI 的爬虫被阻止的比例甚至更高。
在这个过程中，谷歌似乎占据了更多的主动权。由于其在搜索引擎市场的主导地位，谷歌能够向出版商施加压力，要求他们允许其 AI 访问内容，否则可能会面临搜索可见度降低的风险。谷歌通过将其 AI 概述与传统网页抓取相结合，来强化这一点。此外，谷歌已经停止了与出版商就内容使用进行许可协议的早期讨论。由于谷歌每日的搜索量巨大，这样的协议成本极有可能会很高，从而进一步压缩了因 AI 产生的搜索利润。
相比之下，苹果虽然也有爬虫用于其搜索产品，但出版商可以阻止 AI 爬虫，而不会影响在苹果搜索结果中的可见度。虽然这种做法显得更加公平，但毕竟搜索并不是苹果的核心业务。至于 OpenAI 的 ChatGPT 在苹果产品中的使用情况，未来的许可协议又将如何运作，仍然有待观察。
划重点:
🌐 许多大型网站封锁苹果 AI 爬虫，迫使苹果与之谈判许可协议。
🤖 苹果新推出的爬虫工具 Applebot-Extended，现有7% 网站选择阻止其访问。
📉 谷歌利用其市场主导地位施压出版商，要求提供 AI 内容使用权。