Meta 正面临一起涉及版权侵权的诉讼，原告律师称，Meta 首席执行官马克·扎克伯格批准公司使用盗版电子书和文章的数据集来训练其 Llama AI 模型。该案件是针对多家科技巨头的众多版权诉讼之一，这些公司被指控在未获授权的情况下使用受版权保护的作品进行 AI 模型训练。在周三晚间提交给美国加利福尼亚北区地方法院的文件中，原告重申了 Meta 去年年底的证词，证词中透露扎克伯格批准使用名为 LibGen 的数据集来进行与 Llama 相关的训练。LibGen 被视为一个“链接聚合器”，提供大量受版

近日，国家发展改革委、国家数据局和工业和信息化部联合发布了《国家数据基础设施建设指引》。该指引旨在推进全国各地积极建设政务服务大模型，促进政务服务的智能化进程，进而提升政府服务的效率与质量。指引中强调了数据标注产业的重要性，鼓励各地区在数据标注的生态构建、能力提升及场景应用方面进行探索与创新。政府将链接公共数据，主动公开企业及个人数据，同时建立高质量的数据资源开放目录，以此为社会提供统一的数据资源，促进信息共享。为了确保数据的准确

近日，上海机器人初创公司智元机器人联合上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，正式开源百万真机数据集AgiBot World，旨在支持泛化和通用的机器人大模型训练。据悉，这是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集。AgiBot World数据集诞生于智元自建的大规模数据采集工厂与应用实验基地，空间总面积超过4000平方米，包含3000多种真实物品，复刻了家居、餐饮、工业、商超和办公五大核心场景，收录了80多种日常生活中的

智元机器人携手上海人工智能实验室等机构，重磅发布AgiBot World数据集，这是全球首个基于真实场景的百万级机器人数据集。相较谷歌的Open X-Embodiment，其长程数据规模提升10倍，场景覆盖扩大100倍，数据质量达到工业级标准。这个被誉为具身智能领域"ImageNet时刻"的开源项目展现了令人惊叹的机器人能力。从客厅插花到厨房做饭，从超市收银到工厂分拣，AgiBot World涵盖了家居、餐饮、工业、商超和办公五大核心场景，收录了八十余种日常生活技能。在硬件配置上，机器人配备了360度环绕式

近日，在中关村论坛系列活动第12届数字金融与科技金融大会上，蚂蚁数科的 Deepfake 检测方案入选大会“金融科技技术创新与应用案例”。蚂蚁数科依托旗下天玑实验室，业界首次构建了大规模、高质量、多模态的 Deepfake 数据集，其合成超过百万级多媒体内容，充分地模拟了真实世界金融风控环境中的Deepfake攻击样本，成为评测现有金融领域Deepfake检测模型性能的重要标准。在金融业务场景中，蚂蚁数科多组测试数据集上的 Deepfake 检测准确率达到了98%以上，并成功阻止了多起利用Deepfake技

哈佛大学近日宣布，计划发布一个由近100万本公共领域书籍组成的数据集，任何人都可以使用该数据集来训练大型语言模型和其他人工智能工具。此项目由哈佛大学新成立的机构数据计划（Institutional Data Initiative）主导，并在微软与OpenAI的资助下完成。该数据集包括来自谷歌Books项目的扫描书籍，涵盖了莎士比亚、狄更斯、但丁等经典作品，以及一些晦涩的捷克数学教科书和威尔士词典等内容。图源备注：图片由AI生成，图片授权服务商Midjourney这一数据集被称为“Books3数据集”的五倍大，旨

哈佛大学周四宣布，将公开一份包含近百万本公共领域图书的高质量数据集，任何人都可以利用它来训练大型语言模型和其他 AI 工具。 这份数据集由哈佛大学新成立的机构数据倡议 （Institutional Data Initiative） 创建，并获得了微软和 OpenAI 的资金支持。 其中收录的图书均是 Google 图书项目扫描的、不再受版权保护的作品。该数据集规模约为用于训练 Meta Llama 等 AI 模型的臭名昭著的 Books3数据集的五倍。 它涵盖了各种类型、年代和语言，既有莎士比亚、查尔斯·狄更斯和但丁的经典之作，也有

《纽约时报》和《每日新闻》在版权诉讼中遭遇意外转折:OpenAI一名工程师不经意间删除了可能成为关键证据的虚拟机搜索数据，令这起备受关注的法律纠纷再添戏剧性情节。根据周三晚间提交至纽约南区美国地方法院的信件，两家媒体公司的律师和技术专家此前已投入逾150小时搜索OpenAI的AI训练数据集。然而，11月14日，一名OpenAI工程师意外删除了存储在虚拟机上的全部搜索数据。尽管OpenAI随后尝试恢复数据并取得基本成功，但由于文件夹结构和文件名已"无法挽回"地丢失，恢复的数据实际

近日，来自多家中国科研机构的研究团队重磅发布了名为Infinity-MM的超大规模多模态数据集，并基于该数据集训练出了一个性能卓越的AI模型Aquila-VL-2B。这一突破为多模态AI发展注入了新动力。Infinity-MM数据集规模惊人，共包含四大类数据:1000万条图像描述、2440万条通用视觉指令数据、600万条精选高质量指令数据，以及300万条由GPT-4等AI模型生成的数据。研究团队采用开源AI模型RAM++进行图像分析和信息提取，并通过独特的六大类分类系统确保生成数据的质量和多样性。图源备注：图片由AI生成

近日，来自多家中国机构的研究团队成功创建了 “Infinity-MM” 数据集，这是目前最大规模的公开多模态 AI 数据集之一，同时训练出了一款性能卓越的小型新模型 ——Aquila-VL-2B。该数据集主要包含四大类数据:1000万条图像描述、2440万条一般视觉指令数据、600万条精选高质量指令数据，以及300万条由 GPT-4和其他 AI 模型生成的数据。在生成方面，研究团队利用现有的开源 AI 模型。首先，RAM++ 模型分析图像并提取重要信息，随后生成相关问题和答案。此外，团队还构建了一种特殊的分类系统，

一项由以色列理工学院主导的最新研究表明，大型语言模型（LLM）可能“深藏不露”，掌握的知识比实际表现出来的更多。研究人员发现，LLM 的内部表征编码了关于其输出正确性的信息，即使它们最终生成了错误的答案，也能在内部识别出正确答案。该研究团队重点分析了 LLM 在长文本生成中的错误，这更贴近其在现实世界中的应用场景。他们构建了一个错误检测数据集，通过比较模型生成的答案与真实答案来判断其正确性，并以此为基础，研究 LLM 内部表征中编码真实性信号的位置。研

在人工智能快速发展的今天，一个国际研究团队正在为欧洲AI语言模型的发展铺平道路。他们推出了名为MOSEL（Massive Open-source compliant Speech data for European Languages）的项目，为欧盟 24 种官方语言编制了一个全面的开源语音数据集。这一举措旨在推动欧洲开放AI语言模型的发展，挑战目前由英语数据集和大型科技公司专有系统主导的局面。MOSEL项目汇集了来自 18 个不同来源的语音数据，包括CommonVoice、LibriSpeech和VoxPopuli等知名项目。这个庞大的数据库包含了带转录的语音录音和未标记的音频数据

在2024北京文化论坛上，北京智源人工智能研究院（BAAI）宣布正式发布新一代中文互联网语料库CCI3.0(Chinese Corpora Internet)，进一步推动数据共建共享。CCI3.0包含1000GB的数据集及498GB的高质量子集CCI3.0-HQ，是继2023年11月首次开源CCI1.0和2024年4月发布CCI2.0之后的又一次重要更新。

近日，OpenAI 推出了一个重磅的多语言数据集，旨在评估人工智能在14种语言中的表现，包括阿拉伯语、德语、斯瓦希里语、孟加拉语和约鲁巴语。这项名为 “多语言大规模多任务语言理解”（MMMLU）数据集，已在开放数据平台 Hugging Face 上发布，标志着 OpenAI 在全球 AI 领域的又一重要进展。数据集入口:https://huggingface.co/datasets/openai/MMMLU之前的 “大规模多任务语言理解”（MMLU）数据集仅针对英语进行评估，覆盖了数学、法律、计算机科学等57个学科。而新发布的 MMMLU 数据集则把目光放在了多

智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集，旨在提升语言模型在对话等方面的性能。近日，Infinity Instruct完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。

在全球城市化进程加速的背景下，谷歌再次展现了其科技创新实力，推出了开放建筑2.5D时间数据集。这一举措不仅标志着地图技术的重大突破，更为全球城市规划和发展提供了宝贵的数据支持。联合国预测，到2050年，全球城市人口将增加约25亿，其中大部分增长将来自全球南方地区。面对这一巨大挑战，城市规划者和决策者迫切需要新的工具来理解和应对城市的快速变化。谷歌此次推出的数据集恰好满足了这一需求，它记录了2016年至2023年间建筑物的变化，并首次提供了建筑高度信息。谷

LAION发布Re-LAION-5B，全球首个全面清除CSAM链接的AI训练数据集，旨在解决儿童性虐待材料（CSAM）问题。该数据集在LAION-5B基础上进行了重大改进，主要分为Re-LAION-5B Research和Research-Safe两个版本，共移除2236个CSAM链接，其中1008个来自儿童保护组织名单。数据集包含55亿对文本和图像，旨在帮助清理现有数据集，移除所有匹配的CSAM内容。LAION希望通过此举为网页规模数据集的安全标准设定新基准，解决AI训练数据集中CSAM问题的严重性，尤其是AI生成CSAM内容的增长对真实案件调查和社交媒体平台报告数量的影响。

德国研究机构LAION创建并发布了新数据集Re-LAION-5B，声称已清除疑似儿童性虐待材料（CSAM）链接。该数据集是旧数据集LAION-5B的修复版，采纳了互联网观察基金会、人权观察、加拿大儿童保护中心和斯坦福互联网观察站的建议。Re-LAION-5B分为两个版本：Research和Research-Safe，后者额外删除了NSFW内容。数据集旨在支持Stable Diffusion等生成式AI模型的训练，且不包含图像，仅提供图像链接和替代文本的索引。Re-LAION-5B的发布前，斯坦福互联网观察站发现LAION-5B包含非法图片链接，且数据集中可能存在不当内容。LAION已暂时下线原数据集，并承诺删除已知违规链接。新数据集包含约55亿个文本图像对，根据Apache2.0许可发布。LAION强调数据集用于研究而非商业目的，并鼓励使用元数据清理现有副本。

人工智能领域面临的数据获取难题日益凸显，研究指出，曾经易得的网页数据现在变得难以访问，影响了AI训练和学术研究。MIT等机构的研究发现，多个开源数据集的爬取网站因收紧许可协议，限制了数据获取，不仅对商业AI模型训练构成挑战，也对学术和非营利研究造成阻碍。通过使用机器人排除协议和网站服务条款作为研究方法，研究团队预测未来网站对数据的限制将持续增加。数据获取的困难可能对模型对齐、数据收集实践以及版权产生影响。研究呼吁需要更灵活的协议来适应网站所有者的意愿，并支持AI开发人员使用开放网络数据进行训练。作者希望未来的法律能对此提供支持。

"MedTrinity-25M" 是由 UCSC-VLAA 团队发布的一个大规模多模态医学数据集，包含2500万张医学影像及其详细注释。该数据集具有多粒度注释，支持医学多模态大模型训练，其构建过程复杂，通过数据处理、元数据提取、感兴趣区域定位及医学知识收集，利用大规模语言模型生成详细描述，提高数据可用性。数据集于2024年7月21日正式发布，配套提供预训练模型，如LLaVA-Med++，在医学任务中表现出色，为医学研究提供强大支持。此数据集是医学研究领域的重要资源，旨在促进医学研究的发展。