哈佛大学周四宣布，将公开一份包含近百万本公共领域图书的高质量数据集，任何人都可以利用它来训练大型语言模型和其他 AI 工具。 这份数据集由哈佛大学新成立的机构数据倡议 （Institutional Data Initiative） 创建，并获得了微软和 OpenAI 的资金支持。 其中收录的图书均是 Google 图书项目扫描的、不再受版权保护的作品。该数据集规模约为用于训练 Meta Llama 等 AI 模型的臭名昭著的 Books3数据集的五倍。 它涵盖了各种类型、年代和语言，既有莎士比亚、查尔斯·狄更斯和但丁的经典之作，也有

["反盗版组织成功要求在线盗版书籍资源库 The Eye 下线 AI 训练数据集 “Books3”。","“Books3” 数据集包含了 37GB 的文本，用于训练人工智能模型，已被多家公司使用。","反盗版组织表示 AI 对版权产生了新的挑战，计划继续打击其他存有该数据集的网站。"]

["Google 和 OpenAI 利用机器人从互联网上收集数据，但最近的版权法对他们的数据抓取工作提出了障碍。","AI 模型需要人类生成的内容来提高，但公司应该支付还是从互联网获取这些内容是一个问题。","OpenAI 已经开始使用由 ChatGPT 创建的数据集来训练 GPT-4，但仅依赖这些数据可能导致模型崩溃。"]