在人工智能迅速发展背景下，百度贴吧的"弱智吧"意外成为AI训练的重要数据来源，挑战了人们对高质量数据的传统认知。该社区以其荒诞幽默的内容，在问答、头脑风暴等测试中超越了知名平台，成为受欢迎的AI训练数据库之一。研究发现，"弱智吧"的口语化、多轮问答语料，有助于AI更接近人类交流方式。AI在理解人类幽默方面存在局限，而"弱智吧"的段子通过逻辑严密、修辞丰富和生活观察，为AI提供了宝贵的学习素材，锻炼了其对中文的理解和推理能力。这一现象揭示了人类智慧与创造力的独特性，提醒我们在AI时代仍需珍视人类的幽默感和创造力。

LAION发布Re-LAION-5B，全球首个全面清除CSAM链接的AI训练数据集，旨在解决儿童性虐待材料（CSAM）问题。该数据集在LAION-5B基础上进行了重大改进，主要分为Re-LAION-5B Research和Research-Safe两个版本，共移除2236个CSAM链接，其中1008个来自儿童保护组织名单。数据集包含55亿对文本和图像，旨在帮助清理现有数据集，移除所有匹配的CSAM内容。LAION希望通过此举为网页规模数据集的安全标准设定新基准，解决AI训练数据集中CSAM问题的严重性，尤其是AI生成CSAM内容的增长对真实案件调查和社交媒体平台报告数量的影响。

《经济学人》杂志文章指出，AI公司面临因互联网高质量数据枯竭导致的"数据墙"挑战，预测到2028年，所有高质量文本数据将被用尽，影响机器学习进展。加州大学伯克利分校教授斯图尔特·罗素曾警告ChatGPT等AI可能耗尽宇宙中的文本。然而，斯坦福大学教授李飞飞表示，仍存在大量差异化数据可挖掘。为解决数据短缺，使用合成数据成为可能的解决方案，但《自然》杂志论文提出使用AI生成的数据集训练模型可能导致"模型崩溃"，建议保留原始数据，使用多样化数据源，并研究更鲁棒的训练算法。突破"数据墙"限制，确保高质量训练数据的持续供应，是AI行业亟待解决的紧迫课题，需要技术创新和多方合作。

近日，由国家超级计算成都中心、中国地震局地球物理研究所和清华大学联合开发的"谛听"地震波大模型在四川成都正式发布。该模型是国内首个达到亿级参数量的地震波大模型，标志着我国地震学研究和人工智能技术融合的重要突破。

AI模型正逐渐失去对网络训练数据的访问权限，数据屏蔽比例从1%增至5-7%。研究分析了14,000个域名的robots.txt文件和使用条款，发现新闻网站、论坛和社交媒体平台是限制AI数据访问的主要来源，其中新闻网站的屏蔽比例从3%激增至45%。高质量新闻内容在AI训练数据中的占比减少，低质量企业电商内容可能取而代之。这一趋势对AI开发者构成挑战，因为高质量数据对于训练优秀模型至关重要。高质量内容提供者可能通过与AI公司达成许可协议找到新的收入来源。Meta和OpenAI已与出版商达成数百万美元交易获取内容用于AI训练，预计其他公司也将效仿，除非法律判决发生重大变化。

​IBM 于五月份开源了适用于企业应用场景的 Granite13B LLM 模型。现在，IBM 的 AI 平台产品副总裁阿曼德・鲁伊兹（Armand Ruiz）公开了用于训练 Granite13B 的全面6.48TB 数据集的完整内容。

Spawning 致力于为艺术家提供更多对其作品在线使用的控制权，该公司推出最新的项目名为 Source.Plus，旨在筛选出 “非侵权” 媒体内容，用于 AI 模型的训练，使艺术家和创作者能够更加精细地管理其作品的使用权限。

["Automattic 与 Midjourney 和 OpenAI 谈判共享用户帖子的训练数据","Automattic 计划允许用户选择退出与第三方数据共享","其他公司也与 AI 公司合作提供训练数据，引发创作者抗议"]

["美国社交媒体平台Reddit与谷歌达成协议，价值每年约6000万美元","施普林格出版集团与OpenAI合作，成为首家深度整合新闻业与人工智能技术的出版机构","OpenAI与Axel Springer签订合作协议，表明未来大模型训练或将向数据提供方付费","出版行业公司拥有丰富电子化图文资源，有望成为大模型训练重要数据集"]

["音乐发行商对Anthropic提出的初步禁令","Anthropic回应使用受版权保护的内容作为LLM训练数据是合理的","Anthropic拒绝禁令请求","训练系统获取许可将意味着终结通用AI工具"]

["智源研究院发布了名为 TACO 的代码生成训练数据集，旨在为代码生成模型提供更具挑战性的训练数据和评测基准。","TACO 在数据规模、质量和评测方案上具有优势，包括更大规模的训练集和测试集，多样化的解题答案，以及细粒度的标签。","实验结果显示，当前流行的代码生成模型在 TACO 评测中与 GPT-4 存在显著差异，说明该领域仍有提升空间。","TACO 不仅是一个挑战性的测试方法，还可用作改进模型性能的训练数据，促进代码生成领域的发展。"]

[" 研究发现，ChatGPT等大型语言模型在训练过程中会记住一定数量的原始训练数据，攻击者可以通过特定的攻击方法，从模型中提取大量训练数据，威胁数据所有者的隐私。"," 研究人员使用了一种“可提取记忆”的攻击技术概念，发现即使不使用真实的训练数据作为提示，现有的提取攻击也能恢复大量记忆中的训练数据。","⚠️ 研究人员建议开发和使用大型语言模型时，应做好数据安全保护措施，例如采用加密、去标识等技术，防止数据泄漏。"]

["Google Deepmind、华盛顿大学等团队通过“诗歌攻击”成功揭示ChatGPT训练数据来源。","攻击手法涉及重复特定词汇，导致ChatGPT泄露个人信息，包括电话号码、邮箱等。","漏洞已于8月30日通知OpenAI，尚未有进一步评论。","研究呼吁环保AI使用，指出文本和图像生成对环境造成巨大能源负担。"]

["AI公司可能在不远的将来面临培训数据枯竭的风险，高质量文本培训数据或将在2026年耗尽。","使用合成数据可能导致模型内在的畸形效应，研究表明其风险。","解决方案可能在于建立数据合作伙伴关系，通过交换数据来缓解供应问题。"]

["OpenAI启动Data Partnerships计划，与第三方机构合作，创建用于AI模型训练的公共和私有数据集。","OpenAI寻求多领域、多语言、多格式的数据，以提高AI模型的广泛理解。","OpenAI计划采集各种形式的数据，包括图像、音频和视频，以反映人类社会，以实现更安全、有益于全人类的AI目标。","OpenAI的举措引发了关于数据拥有者权益和透明度的讨论。"]

["AI行业面临训练数据告急问题，可能减缓AI模型增长。","高质量数据至关重要，但2026年前可能告急。","解决方法包括改进算法和使用合成数据。"]

["哈佛、哥大发布开源数据集OpenProteinSet，包含1600万蛋白质多序列对齐和相关数据，为AI模型训练提供支持。","AlphaFold 2的准确性在蛋白质结构预测领域创下里程碑，但其私有数据限制了其他研究者的进展。","OpenProteinSet包括PDB中所有蛋白质的MSAs，为蛋白质机器学习社区提供充足的预计算MSA资源。","该数据集可用于结构生物学各种任务，推动生物信息学和蛋白质机器学习领域的研究。","OpenProteinSet是一个重要的生物信息学资源，为多模态语言模型提供了宝贵的生物知识。"]

["智源研究院发布全球最大的中英文语义向量模型训练数据集 MTP，数据规模达 3 亿对。","MTP 是开源的最大规模中英文关联文本对数据集，为训练语义向量模型提供重要基础。","数据集包含来自多个来源的中英文文本对，涵盖问答、评论、新闻等多种类型。","智源研究院表示数据对大模型训练起到至关重要的作用，将推动人工智能协同创新。","该数据集的发布有望解决中文模型训练数据集缺乏的问题。"]

{"点 1":"最近的研究表明，ChatGPT 试图隐藏其训练过程中使用了受版权保护的材料。","点 2":"研究人员发现，ChatGPT 故意扰乱输出以避免揭示使用了受版权保护的材料。","点 3":"其他大型语言模型也被发现会用受版权保护的文本回应提示，这是因为它们通过训练大量文本数据获得能力。"}

["反盗版组织成功要求在线盗版书籍资源库 The Eye 下线 AI 训练数据集 “Books3”。","“Books3” 数据集包含了 37GB 的文本，用于训练人工智能模型，已被多家公司使用。","反盗版组织表示 AI 对版权产生了新的挑战，计划继续打击其他存有该数据集的网站。"]