Crawl4LLM

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

普通产品编程LLM网络爬虫

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

Best AI Websites & Tools

Crawl4LLM

Crawl4LLM 最新流量情况

Crawl4LLM 访问量趋势

Crawl4LLM 访问地理位置分布

Crawl4LLM 流量来源

Crawl4LLM 替代品

langroid — Langroid是一个基于Python的轻量级LLM框架

DocWrangler — 一个开源的交互式开发环境，用于构建和优化基于LLM的数据处理管道。

YuLan-Mini — 一款高效率的2.4亿参数轻量级语言模型

AI-Data-Analysis-MultiAgent — AI驱动的多智能体数据分析系统

marimo — 下一代Python笔记本

browser-use — 开源的网页自动化库，支持任何大型语言模型（LLM）

Laminar.ai — 开源全栈平台，为打造顶级LLM产品提供支持

ComfyUI-MochiWrapper — Mochi视频生成器的ComfyUI包装节点

promptic — 一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

SuperCoder 2.0 — 开源自主软件开发系统

Composio — AI代理工具集，赋能复杂任务处理。

RAGElo — RAG-based LLM agents的Elo排名工具

june — 本地语音聊天机器人，保护隐私，无需联网。

AI Math Notes — 一个交互式绘图应用，用于数学方程的绘制和计算。

HyperCrawl — 专为LLM和RAG应用设计的高效网络爬虫

llama-recipes — 用于微调Meta Llama模型的库和示例脚本集合

Scrapegraph-ai — 基于AI的Python网络爬虫库，自动化提取网页信息。

FineWeb — 高质量英文网页数据集

MM1 — 苹果发布多模态LLM模型MM1

X-Force IDE — 拖放方式创建agent工作群用于自定义业务逻辑

Confident AI — 开源评估基础设施，为 LLM 提供信心

llamafile — 将LLM模型打包成一个可执行文件

Flowise — 开源UI可视化工具，轻松构建定制化的LLM流程

Cline.bot — Cline 是一个为 VSCode 提供的协作式 AI 编程伙伴，助力开发者高效开发。

The Ultra-Scale Playbook — 一个专注于超大规模系统设计和优化的工具，提供高效解决方案。

hallucination-leaderboard — 一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

SkyReels-V1-Hunyuan-I2V — SkyReels V1 是一个开源的人类中心视频基础模型，专注于高质量影视级视频生成。

KET-RAG — KET-RAG 是一个结合知识图谱的检索增强型生成框架，用于高效文档索引和答案生成。