开源网络爬虫项目Crawl4 AI近日发布了v0.4. 1 版本，带来多项重大更新。最引人注目的是新增的文本模式（Text-Only Mode）功能，该模式通过优化资源加载策略，将爬取效率提升至原来的3- 4 倍。"这次更新的核心是让爬虫变得更快、更智能，"项目维护者表示，"特别是在处理现代网页时，新版本展现出显著优势。"本次更新的一大亮点是全新的文本模式。通过关闭图片加载、JavaScript执行和GPU处理，该模式可以大幅提升爬取速度。用户只需设置text_only=True参数即可启用这一功能，特别适合那些只需获

在驱动的人工智能时代，大型语言模型（LLM）如 GPT-3和 BERT 对高质量数据的需求日益增加。然而，从网络上手动整理这些数据不仅费时费力，而且常常难以扩展。这给开发者们带来了不小的挑战，尤其是在需要大量数据的时候。传统的网络爬虫和数据抓取工具在提取结构化数据方面的能力有限，虽然它们可以收集网页数据，但往往无法将数据格式化为适合 LLM 处理的样式。为了应对这一难题，Crawl4AI 作为一个开源工具应运而生。它不仅能够从网站上收集数据，还能将其处理和清洗成适合 LL