最近，谷歌的搜索引擎霸主地位引发了出版商们的困扰。根据彭博社的报道，谷歌正在利用其市场影响力，迫使出版商面临一个两难选择:要么让他们的内容出现在谷歌的 AI 回答中，要么就冒着搜索排名下降的风险。这让许多依赖谷歌搜索流量的出版商感到无奈。
图源备注：图片由AI生成，图片授权服务商Midjourney
谷歌的爬虫程序 Googlebot 同时用于搜索和 AI 综述。虽然网站所有者可以使用 “nosnippet 标签” 来阻止部分内容被用作 AI 回答，但这样做却可能危及他们整体的搜索可见度。因为如果完全阻止谷歌的爬虫，很多出版商将无法承受这样的损失。而仅仅阻止 AI 爬虫并不是一个解决办法，因为 AI 回答的内容来自主要的爬虫。
很多出版商现在处于一个两难的境地。Talking Points Memo 的编辑乔・拉加佐表示:“这对这些公司来说就像是生存危机。要么选择退出，立刻面临死亡，要么与谷歌合作，但最终也许只能是慢性死亡，因为最终谷歌可能根本不再需要他们。”
谷歌在回应 Engadget 时表示，阻止整个文章被用作 AI 综述并不会阻止爬虫看到用于排名的 “完整文本” 或出现在网页搜索结果中。出版商也可以选择仅阻止网站的部分内容出现在 AI 综述中。
据消息人士透露，谷歌已经停止与出版商就使用其内容进行 AI 回答的潜在许可协议进行谈判。与之相对的是，像 OpenAI 和 Perplexity 这样的 AI 公司以及苹果公司，正在计划通过直接补偿或广告收入分享的方式来补偿出版商。不过，这些公司并没有足够的资源将整个互联网转变为一个聊天机器人生态系统。
谷歌与 Reddit 达成的6000万美元协议就是一个很好的例子，谷歌试图以最低的成本获取最多的 AI 内容。结果，Reddit 中的帖子有时会在搜索结果中超越原始出版商的内容，这无疑对更广泛的网络造成了不公平的影响。而且，Reddit 为了保护自己的数据，现在甚至开始封锁其他搜索引擎的索引爬虫，这创造了一个历史性的现象:一个只供特定搜索引擎使用的网站。
划重点:
📌 谷歌利用其搜索引擎的市场优势，让出版商面临选择:参与 AI 回答或风险失去搜索曝光。
📌 出版商可用 “nosnippet 标签” 来阻止内容被用作 AI 回答，但这可能影响整体搜索排名。
📌 谷歌已停止与出版商谈判内容使用许可，而一些 AI 公司则在尝试通过补偿来解决这一问题。