Crawlee 是一个用于构建可靠爬虫的 Python 网络爬虫和浏览器自动化库，提取数据用于AI、LLMs、RAG或GPTs。它提供了统一的接口来处理 HTTP 和无头浏览器爬取任务，支持自动并行爬取，基于系统资源进行调整。Crawlee 用 Python 编写，包含类型提示，增强了开发体验并减少了错误。它具备自动重试、集成代理轮换和会话管理、可配置的请求路由、持久化 URL 队列、可插拔的存储选项等功能。相较于 Scrapy，Crawlee 提供了对无头浏览器爬取的原生支持，拥有简洁优雅的接口，并且完全基于标准的异步 IO。