哈佛大学周四宣布，将公开一份包含近百万本公共领域图书的高质量数据集，任何人都可以利用它来训练大型语言模型和其他 AI 工具。 这份数据集由哈佛大学新成立的机构数据倡议 （Institutional Data Initiative） 创建，并获得了微软和 OpenAI 的资金支持。 其中收录的图书均是 Google 图书项目扫描的、不再受版权保护的作品。该数据集规模约为用于训练 Meta Llama 等 AI 模型的臭名昭著的 Books3数据集的五倍。 它涵盖了各种类型、年代和语言，既有莎士比亚、查尔斯·狄更斯和但丁的经典之作，也有

《纽约时报》和《每日新闻》在版权诉讼中遭遇意外转折:OpenAI一名工程师不经意间删除了可能成为关键证据的虚拟机搜索数据，令这起备受关注的法律纠纷再添戏剧性情节。根据周三晚间提交至纽约南区美国地方法院的信件，两家媒体公司的律师和技术专家此前已投入逾150小时搜索OpenAI的AI训练数据集。然而，11月14日，一名OpenAI工程师意外删除了存储在虚拟机上的全部搜索数据。尽管OpenAI随后尝试恢复数据并取得基本成功，但由于文件夹结构和文件名已"无法挽回"地丢失，恢复的数据实际

LAION发布Re-LAION-5B，全球首个全面清除CSAM链接的AI训练数据集，旨在解决儿童性虐待材料（CSAM）问题。该数据集在LAION-5B基础上进行了重大改进，主要分为Re-LAION-5B Research和Research-Safe两个版本，共移除2236个CSAM链接，其中1008个来自儿童保护组织名单。数据集包含55亿对文本和图像，旨在帮助清理现有数据集，移除所有匹配的CSAM内容。LAION希望通过此举为网页规模数据集的安全标准设定新基准，解决AI训练数据集中CSAM问题的严重性，尤其是AI生成CSAM内容的增长对真实案件调查和社交媒体平台报告数量的影响。

近日，由国家超级计算成都中心、中国地震局地球物理研究所和清华大学联合开发的"谛听"地震波大模型在四川成都正式发布。该模型是国内首个达到亿级参数量的地震波大模型，标志着我国地震学研究和人工智能技术融合的重要突破。

​IBM 于五月份开源了适用于企业应用场景的 Granite13B LLM 模型。现在，IBM 的 AI 平台产品副总裁阿曼德・鲁伊兹（Armand Ruiz）公开了用于训练 Granite13B 的全面6.48TB 数据集的完整内容。

["智源研究院发布了名为 TACO 的代码生成训练数据集，旨在为代码生成模型提供更具挑战性的训练数据和评测基准。","TACO 在数据规模、质量和评测方案上具有优势，包括更大规模的训练集和测试集，多样化的解题答案，以及细粒度的标签。","实验结果显示，当前流行的代码生成模型在 TACO 评测中与 GPT-4 存在显著差异，说明该领域仍有提升空间。","TACO 不仅是一个挑战性的测试方法，还可用作改进模型性能的训练数据，促进代码生成领域的发展。"]

["OpenAI启动Data Partnerships计划，与第三方机构合作，创建用于AI模型训练的公共和私有数据集。","OpenAI寻求多领域、多语言、多格式的数据，以提高AI模型的广泛理解。","OpenAI计划采集各种形式的数据，包括图像、音频和视频，以反映人类社会，以实现更安全、有益于全人类的AI目标。","OpenAI的举措引发了关于数据拥有者权益和透明度的讨论。"]

["智源研究院发布全球最大的中英文语义向量模型训练数据集 MTP，数据规模达 3 亿对。","MTP 是开源的最大规模中英文关联文本对数据集，为训练语义向量模型提供重要基础。","数据集包含来自多个来源的中英文文本对，涵盖问答、评论、新闻等多种类型。","智源研究院表示数据对大模型训练起到至关重要的作用，将推动人工智能协同创新。","该数据集的发布有望解决中文模型训练数据集缺乏的问题。"]

["反盗版组织成功要求在线盗版书籍资源库 The Eye 下线 AI 训练数据集 “Books3”。","“Books3” 数据集包含了 37GB 的文本，用于训练人工智能模型，已被多家公司使用。","反盗版组织表示 AI 对版权产生了新的挑战，计划继续打击其他存有该数据集的网站。"]