近日，随着一起关于人工智能版权的案件 ——Kadrey 诉 Meta 案的进展，Meta 公司内部的消息被法庭解封，透露出公司高管在开发 Llama3过程中，执着于超越 OpenAI 的 GPT-4模型。Meta 的生成 AI 副总裁阿赫马德・阿尔 - 达赫（Ahmad Al-Dahle）在2023年10月的一条信息中提到:“老实说，我们的目标必须是 GPT-4。我们有64000个 GPU!我们需要学习如何建设前沿技术，赢得这场竞争。”尽管 Meta 发布开放的 AI 模型，但公司的 AI 领导层显然更关注那些不公开模型权重的竞争对手，比如 Anthropic 和 OpenAI，并将它们的

在推动人工智能（AI）领域透明度的进程中，计算机与通信行业协会(CCIA)于布鲁塞尔和华盛顿共同宣布推出一项开创性的新举措，即全球行业透明度报告模板。这一模板旨在提升公众对通用人工智能(GPAI)模型训练数据的信任与理解。此次发布的 “AI 模型训练数据透明度模板” 要求企业披露用于训练特定 GPAI 模型的数据类型，例如播客、书籍等，同时还需明确数据的主要来源，如开放存取档案、大型公共数据集或公共网站的爬取数据。此外，企业还需详细解释这些数据是如何被筛选和应用于

近日，加州大学伯克利分校的 Sky Computing Lab 团队发布了 Sky-T1-32B-Preview，这是一款开放源代码的推理型人工智能模型，标志着推理型 AI 的研发变得更加容易和便宜。该模型在多个关键基准测试中表现出色，甚至与 OpenAI 早期版本的 o1相媲美。Sky-T1的训练成本令人瞩目，仅为450美元，这意味着高水平推理能力的复制已变得更加可负担且高效。虽然450美元的费用可能听起来不算低，但与几年前动辄数百万美元的训练成本相比，已是巨大的下降。借助合成训练数据，即由其他模型生成的训练数据

加州大学伯克利分校天空计算实验室的研究团队NovaSky于周五发布了Sky-T1-32B-Preview推理模型，这一模型在多个关键基准测试中表现优异，与OpenAI的o1早期版本相媲美，更令人瞩目的是其极低的训练成本。Sky-T1-32B-Preview是首个真正的开源推理模型，NovaSky团队不仅发布了模型，还公开了用于训练它的数据集及必要的训练代码，这意味着该模型可从头开始复制。据团队在博客文章中所述，“Sky-T1-32B-Preview的训练成本不到450美元，这表明可以经济高效地复制高级推理能力。”在不久前，训练同等性能

中国人工智能公司DeepSeek日前发布了一款具有里程碑意义的开源大语言模型DeepSeek V3。这款拥有6710亿参数的模型不仅规模超越Meta的Llama3.1，在多项基准测试中的表现也优于包括GPT-4在内的主流封闭源模型。DeepSeek V3的突出特点在于其强大的性能与高效的开发过程。该模型在编程平台Codeforces的竞赛中表现出色，并在测试代码集成能力的Aider Polyglot测试中领先竞争对手。模型训练采用了14.8万亿token的庞大数据集，参数规模达到了Llama3.1的1.6倍。更引人注目的是，DeepSeek仅用两个月时间、550万美元成

微软宣布，其Phi系列生成式AI模型迎来了新成员——Phi-4。与之前的版本相比，Phi-4在多个方面有所改进，尤其在数学问题的解决能力上表现突出，这得益于训练数据质量的提升。截至周四晚上，Phi-4的访问权限相对有限，仅在微软最新推出的Azure AI Foundry开发平台上可用，且仅限于微软研究许可协议下的研究用途。图源备注：图片由AI生成，图片授权服务商MidjourneyPhi-4是微软推出的最新小型语言模型，拥有140亿个参数。与其他小型模型如GPT-4o mini、Gemini2.0Flash和Claude3.5Haiku相当，这些小型模型

哈佛大学周四宣布，将公开一份包含近百万本公共领域图书的高质量数据集，任何人都可以利用它来训练大型语言模型和其他 AI 工具。 这份数据集由哈佛大学新成立的机构数据倡议 （Institutional Data Initiative） 创建，并获得了微软和 OpenAI 的资金支持。 其中收录的图书均是 Google 图书项目扫描的、不再受版权保护的作品。该数据集规模约为用于训练 Meta Llama 等 AI 模型的臭名昭著的 Books3数据集的五倍。 它涵盖了各种类型、年代和语言，既有莎士比亚、查尔斯·狄更斯和但丁的经典之作，也有

《纽约时报》和《每日新闻》在版权诉讼中遭遇意外转折:OpenAI一名工程师不经意间删除了可能成为关键证据的虚拟机搜索数据，令这起备受关注的法律纠纷再添戏剧性情节。根据周三晚间提交至纽约南区美国地方法院的信件，两家媒体公司的律师和技术专家此前已投入逾150小时搜索OpenAI的AI训练数据集。然而，11月14日，一名OpenAI工程师意外删除了存储在虚拟机上的全部搜索数据。尽管OpenAI随后尝试恢复数据并取得基本成功，但由于文件夹结构和文件名已"无法挽回"地丢失，恢复的数据实际

北京百川智能科技有限公司近日宣布推出其一站式解决方案，旨在帮助企业以低成本实现大模型的私有化部署，并提高效率。这套解决方案包括全链路优质通用训练数据、Baichuan4-Turbo和Baichuan4-Air两款模型，以及全链路领域增强工具链，能够满足企业在不同场景下的需求。

最近，开放源代码倡议组织（OSI）发布了一项新定义，明确什么才算是真正的 “开源” 人工智能。这一新标准引起了科技巨头们的关注，尤其是 Meta 的 Llama 模型，因为它并不符合这些规则。OSI 一直是开放源代码软件的行业标准制定者，但在 AI 系统中，有一些传统许可证未能覆盖的元素，比如模型训练数据。根据 OSI 的新定义，任何被认为是真正开放源代码的 AI 系统必须提供三样东西:首先是有关训练 AI 所用数据的详细信息，以便他人能够理解并重现这些结果;其次是用于构建和运行 AI 的

瑞士洛桑联邦理工学院 （EPFL） 的一项最新研究比较了两种主流的大型语言模型 (LLM) 适应性训练方法:上下文学习 (ICL) 和指令微调 (IFT)。研究人员使用 MT-Bench 基准测试来评估模型遵循指令的能力，发现在特定情况下，两种方法的表现各有优劣。研究发现，当可用的训练样本数量较少时（例如不超过50个），ICL 和 IFT 的效果非常接近。这表明在数据有限的情况下，ICL 或许可以作为 IFT 的替代方案。然而，随着任务复杂度的增加，例如在多轮对话场景中，IFT 的优势就变得明显。研究人员认为，

近日，OpenAI 一起备受瞩版权诉讼中达成了一项协议，决定向原告律师披露用于训练生成性 AI 模型的数据。图源备注:图片由AI生成，图片授权服务商Midjourney这场官司的原告是包括保罗・特伦布雷、莎拉・尔弗曼、迈克尔・查邦、大卫・亨利・黄和塔 - 内西・茨等多位知名作家。他于去年对 OpenAI 及其附属提起诉讼，指控其 AI 在未经授权的情况下使用了他们的作品，并在此基础生成文本，违反了美国版权法和州不公平竞争法。根据美国地方法罗伯特・尔曼的裁定，原告的将获得进入 OpenAI 设

在人工智能迅速发展背景下，百度贴吧的"弱智吧"意外成为AI训练的重要数据来源，挑战了人们对高质量数据的传统认知。该社区以其荒诞幽默的内容，在问答、头脑风暴等测试中超越了知名平台，成为受欢迎的AI训练数据库之一。研究发现，"弱智吧"的口语化、多轮问答语料，有助于AI更接近人类交流方式。AI在理解人类幽默方面存在局限，而"弱智吧"的段子通过逻辑严密、修辞丰富和生活观察，为AI提供了宝贵的学习素材，锻炼了其对中文的理解和推理能力。这一现象揭示了人类智慧与创造力的独特性，提醒我们在AI时代仍需珍视人类的幽默感和创造力。

LAION发布Re-LAION-5B，全球首个全面清除CSAM链接的AI训练数据集，旨在解决儿童性虐待材料（CSAM）问题。该数据集在LAION-5B基础上进行了重大改进，主要分为Re-LAION-5B Research和Research-Safe两个版本，共移除2236个CSAM链接，其中1008个来自儿童保护组织名单。数据集包含55亿对文本和图像，旨在帮助清理现有数据集，移除所有匹配的CSAM内容。LAION希望通过此举为网页规模数据集的安全标准设定新基准，解决AI训练数据集中CSAM问题的严重性，尤其是AI生成CSAM内容的增长对真实案件调查和社交媒体平台报告数量的影响。

《经济学人》杂志文章指出，AI公司面临因互联网高质量数据枯竭导致的"数据墙"挑战，预测到2028年，所有高质量文本数据将被用尽，影响机器学习进展。加州大学伯克利分校教授斯图尔特·罗素曾警告ChatGPT等AI可能耗尽宇宙中的文本。然而，斯坦福大学教授李飞飞表示，仍存在大量差异化数据可挖掘。为解决数据短缺，使用合成数据成为可能的解决方案，但《自然》杂志论文提出使用AI生成的数据集训练模型可能导致"模型崩溃"，建议保留原始数据，使用多样化数据源，并研究更鲁棒的训练算法。突破"数据墙"限制，确保高质量训练数据的持续供应，是AI行业亟待解决的紧迫课题，需要技术创新和多方合作。

近日，由国家超级计算成都中心、中国地震局地球物理研究所和清华大学联合开发的"谛听"地震波大模型在四川成都正式发布。该模型是国内首个达到亿级参数量的地震波大模型，标志着我国地震学研究和人工智能技术融合的重要突破。

AI模型正逐渐失去对网络训练数据的访问权限，数据屏蔽比例从1%增至5-7%。研究分析了14,000个域名的robots.txt文件和使用条款，发现新闻网站、论坛和社交媒体平台是限制AI数据访问的主要来源，其中新闻网站的屏蔽比例从3%激增至45%。高质量新闻内容在AI训练数据中的占比减少，低质量企业电商内容可能取而代之。这一趋势对AI开发者构成挑战，因为高质量数据对于训练优秀模型至关重要。高质量内容提供者可能通过与AI公司达成许可协议找到新的收入来源。Meta和OpenAI已与出版商达成数百万美元交易获取内容用于AI训练，预计其他公司也将效仿，除非法律判决发生重大变化。

​IBM 于五月份开源了适用于企业应用场景的 Granite13B LLM 模型。现在，IBM 的 AI 平台产品副总裁阿曼德・鲁伊兹（Armand Ruiz）公开了用于训练 Granite13B 的全面6.48TB 数据集的完整内容。

Spawning 致力于为艺术家提供更多对其作品在线使用的控制权，该公司推出最新的项目名为 Source.Plus，旨在筛选出 “非侵权” 媒体内容，用于 AI 模型的训练，使艺术家和创作者能够更加精细地管理其作品的使用权限。

["Automattic 与 Midjourney 和 OpenAI 谈判共享用户帖子的训练数据","Automattic 计划允许用户选择退出与第三方数据共享","其他公司也与 AI 公司合作提供训练数据，引发创作者抗议"]