Craw4LLM

这款工具旨在为GPT、GLM等大型语言模型提供更便捷易用的交互界面，尤其针对论文阅读、润色和写作进行了优化。它采用模块化设计，支持自定义快捷按钮和函数插件，并能剖析和翻译Python和C++等项目代码。此外，它还具备PDF和LaTeX论文的翻译和总结功能，支持同时查询多个LLM模型（例如ChatGLM3等本地模型），并已接入通义千问、DeepSeekCoder、讯飞星火、文心一言、Llama 2、RWKV、Claude 2、MOSS等多种模型。

Scrapy是一个快速、高级的Python网页爬取和抓取框架。

统一高效微调100多个大型语言模型和视觉语言模型 (ACL 2024)

一步一步用PyTorch从零开始实现一个类似ChatGPT的大型语言模型。

拖拽式界面，轻松构建你专属的LLM流程

Go语言优雅的爬虫框架

中文版LLaMA和Alpaca大语言模型，支持本地CPU/GPU训练和部署

Crawlee 是一个基于 Node.js 的网页抓取和浏览器自动化库，用于构建可靠的爬虫程序。它支持 JavaScript 和 TypeScript，可以提取数据用于 AI、大型语言模型 (LLM)、检索增强生成 (RAG) 或 GPT 等应用。它能够下载网站上的 HTML、PDF、JPG、PNG 等各种类型的文件。兼容 Puppeteer、Playwright、Cheerio、JSDOM 和原生 HTTP 请求。支持有头和无头模式，并提供代理轮换功能。

ChatGLM2-6B：一个开源的、支持中文和英文的对话大型语言模型

最先进的深度学习脚本，按模型分类整理，易于在企业级基础设施上进行训练和部署，并具有可复现的准确性和性能。