据The Information最新报道，Meta正在悄然推进一项雄心勃勃的计划:为旗下AI聊天机器人开发专属搜索引擎。这一战略转向背后，是Meta对苹果隐私政策变更造成重大损失的深刻反思。Meta的搜索引擎项目已秘密进行至少8个月。公司希望通过将网络索引整合到Meta AI中，为其摆脱对Google搜索和Microsoft Bing的依赖。虽然Meta今年夏季已公开披露了其网络爬虫技术，但当时仅笼统表示用于"AI模型训练和产品改进"。目前该项目由资深工程经理Xueyuan Su领导。图源备注：图片由AI生成，图片授权服务商Midjourney这

在驱动的人工智能时代，大型语言模型（LLM）如 GPT-3和 BERT 对高质量数据的需求日益增加。然而，从网络上手动整理这些数据不仅费时费力，而且常常难以扩展。这给开发者们带来了不小的挑战，尤其是在需要大量数据的时候。传统的网络爬虫和数据抓取工具在提取结构化数据方面的能力有限，虽然它们可以收集网页数据，但往往无法将数据格式化为适合 LLM 处理的样式。为了应对这一难题，Crawl4AI 作为一个开源工具应运而生。它不仅能够从网站上收集数据，还能将其处理和清洗成适合 LL

苹果在推出AI功能时遭遇网站封锁挑战，需与大型网站进行许可协议谈判。谷歌因其市场影响力能施压出版商允许AI访问内容，而苹果则面临更多网站封锁AI爬虫Applebot-Extended的访问。7%的网站选择阻止该爬虫，数据表明294个主要网站阻止了访问。OpenAI也面临类似挑战，其爬虫被阻止的比例更高。谷歌通过结合AI概述与传统网页抓取，强化了其市场地位，且已停止与出版商就内容使用进行许可协议的早期讨论。苹果的搜索产品虽有AI爬虫，但出版商阻止访问不会影响苹果搜索结果的可见度。未来许可协议如何运作，尤其是OpenAI的ChatGPT在苹果产品中的使用情况，仍需观察。

近日，一项调查发现，数百个网站试图阻止人工智能公司Anthropic抓取其内容，却因为使用过时的指令而屏蔽了错误的机器人。这一现象突显了当前网站所有者在应对不断变化的AI爬虫生态系统时面临的困境。

Anthropic的ClaudeBot网络爬虫在24小时内频繁访问iFixit网站，涉嫌违反使用条款，未经授权使用内容并消耗开发资源。iFixit已通过在robots.txt中添加crawl-delay扩展限制爬虫访问。此事件也波及其他网站，如Read the Docs和Freelancer.com。AI公司如OpenAI通过robots.txt拒绝爬虫访问，但不提供灵活定义访问权限的选项。Perplexity公司被发现忽略robots.txt规则。尽管如此，使用robots.txt仍然是保护数据不被用于AI训练的常见策略之一。Reddit最近也采取行动打击网络爬虫。

Cloudflare 于周三为网站托管客户提供了一种阻止 AI 机器人抓取网站内容并未经允许使用数据训练机器学习模型的方法。它是基于客户对 AI 机器人的厌恶，并表示为了帮助保护内容创作者在互联网上的安全，该公司在一份声明中称。

机器人占据了整体网站流量的42%，其中65% 的机器人属于恶意类型。随着对盗取网站数据的需求增加，电子商务行业受到了高风险机器人流量的严重影响。尽管一些机器人对业务有利，但网页抓取机器人被用于竞争情报和间谍活动，库存囤积，冒名网站创建等恶意行为，这对企业的利润和客户体验产生了负面影响。

网络安全服务提供商CloudFlare近日宣布，将其AI爬虫防护功能免费开放给所有用户。这项功能旨在帮助网站管理员更有效地保护其网站数据，防止未经授权的AI系统抓取和使用。

["一项研究发现近一半热门新闻网站屏蔽了OpenAI爬虫","传统印刷媒体网站更多地屏蔽了OpenAI爬虫","新型人工智能模型在使用先前模型进行训练时可能出现退化","人工智能爬虫被用于收集数据训练语言模型","北半球国家的新闻机构更倾向于屏蔽人工智能爬虫"]

["48%的热门新闻网站屏蔽OpenAI爬虫","路透社研究所调查显示","人工智能对受版权保护的材料使用问题","媒体分为传统印刷出版物、电视和广播电台、数字媒体","一些网站屏蔽Google和OpenAI爬虫","北半球新闻媒体更倾向于阻止人工智能爬虫"]

["越来越多媒体出版商开始阻止AI爬虫访问内容","Direqt看到在即时通讯应用上开发AI聊天机器人的机会","这些聊天机器人帮助出版商直接接触读者,提高内容参与度","Direqt正与OpenAI等公司合作,为出版商提供生成式AI体验","这些聊天机器人可产生平均24.16%的点击率,为出版商带来直接流量"]

["Reddit可能屏蔽Google和必应的搜索爬虫","Reddit可能切断与Google的联系","Reddit要求用户登录才能阅读内容","华盛顿邮报更正了关于Reddit的报道","超过535家新闻机构选择阻止爬取其内容"]

["🛡️ 艺术家使用Kudurru工具对抗AI网络爬虫：通过发送错误图像保护作品。","🌐 Kudurru基于网络，阻止网络爬虫或发送误导图像。","🔒 解决方案有限，呼吁政府干预确保AI培训不滥用艺术家作品。"]

["纽约时报、CNN、路透社等新闻媒体开始屏蔽 OpenAI 的 GPTBot 网络爬虫，限制它继续获取这些媒体的内容。","GPTBot 可能会扫描网页内容来帮助改进 OpenAI 的人工智能模型，如 ChatGPT。","媒体担心内容被 AI 训练，但 Google 建议可自动获取媒体内容，除非它们选择退出。"]

["《纽约时报》屏蔽了 OpenAI 的网络爬虫 GPTBot。","OpenAI 无法使用《纽约时报》的内容来训练其人工智能模型。","《纽约时报》考虑对 OpenAI 采取法律行动。"]

["OpenAI 发布了网站爬虫规范，引发网站加强防御措施。","OpenAI 的网络爬虫 GPTBot 可能已经潜伏在网上一段时间，有人质疑其数据收集行为。","网站所有者可以通过 robots.txt 文件拒绝 GPTBot 的访问，但并非所有机器人都会遵守规则。"]

OpenAI 公布了他们用于训练 GPT-4 和 GPT-5 等人工智能模型的「官方爬虫」GPTBot，允许网站所有者根据需要限制其爬取内容，从而提高 AI 模型的准确性和安全性。