近日，Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口（Alpha 版），旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL，Firecrawl 便会对该网站及其链接页面进行抓取，生成两种格式的文本文件:llms.txt 和 llms-full.txt，便于后续的分析和训练。该生成器的工作流程相对简单。用户只需提供一个网址，系统便会自动爬取该网站的内容，提取出干净且有意义的文本信息。生成的文件分为两种类型:llms.txt 是对网站内容的简明总结，