在大模型（Large Language Model，LLM）快速发展的今天，模型的训练和推理成本日益成为研究和应用的关注焦点。最近，腾讯混元团队发布了一项重要研究，深入探讨了低比特浮点量化训练的 “Scaling Laws”，即浮点数量化训练的规模法则。此项研究的核心在于通过降低模型的精度，探索如何在不损失性能的情况下，显著降低计算和存储成本。研究团队进行了多达366组不同参数规模和精度的浮点数量化训练，系统分析了影响训练效果的多种因素，包括模型大小（N）、训练数据量(D)、指数位(E)、尾

在浦东举行的一场发车仪式上，上海高级别自动驾驶引领区迎来了一支由30辆智己L6组成的数据采集车队。这支队伍将肩负起为自动驾驶大模型提供训练数据的重要使命，标志着上海在智能网联汽车领域又迈出了关键一步。上海市经济信息化委副主任汤文侃在仪式上阐述了上海打造AI"模塑申城"的宏伟蓝图。他强调，上海将以"单车智能为基础，车路云协同为关键支撑"为技术路线，全面推进智能网联汽车产业生态建设。图源备注：图片由AI生成，图片授权服务商Midjourney据了解，上海在自动驾驶

训练大型AI模型（如Transformer和语言模型）已成为AI领域不可或缺的关键环节，但也面临着高昂的计算成本、内存消耗和能源需求。例如，OpenAI的GPT-3拥有1750亿个参数，需要数周的GPU训练。这种巨大的资源需求限制了这项技术在大规模计算资源充足的组织中的应用，同时也加剧了人们对能源效率和环境影响的担忧。解决这些挑战对于确保AI发展的更广泛可及性和可持续性至关重要。传统训练方法效率低下，亟需创新解决方案大型模型训练效率低下的主要原因在于其对稠密矩阵的依赖，这需要

今年早些时候，谷歌发布了第六代也是迄今为止性能最强大的 TPU——Trillium。今天，Trillium 正式面向 Google Cloud 客户开放使用。谷歌使用 Trillium TPU 训练了最新的 Gemini2.0，这是谷歌迄今为止最强大的 AI 模型。现在，企业和初创公司都可以利用同样强大、高效和可持续的基础设施。AI 超级计算机的核心:Trillium TPUTrillium TPU 是 Google Cloud AI Hypercomputer 的关键组成部分。AI Hypercomputer 是一种突破性的超级计算机架构，它采用性能优化的硬件、开放软件、领先的 ML 框架和灵活的消费模型集成系统。随

近日，OpenAI 的首席财务官在纽约表示，该公司预计未来构建更高级的人工智能模型所需的费用将持续大幅增长，达到数十亿美元。这一信息反映出，随着技术的不断进步和市场的需求增加，开发尖端 AI 系统的经济压力也在加大。根据高管的介绍，OpenAI 正在加大对先进人工智能技术的投资，特别是在模型训练和基础设施方面的开支。这意味着，未来用户可能会看到更多的服务价格上涨，以便公司能够弥补不断增加的开发成本。此外，OpenAI 正在努力推动新一代 AI 模型的研发，这些模型被认

北京市海淀区人民法院已正式受理字节跳动对前实习生田某某的起诉，该公司指控田某某篡改代码攻击公司内部模型训练，并请求法院判令田某某赔偿侵权损失800万元及合理支出2万元，同时要求其公开赔礼道歉。

在 AI 的世界里，"大力出奇迹" 似乎成了金科玉律。模型越大，数据越多，算力越强，仿佛就能越接近智能的圣杯。然而，这狂飙突进的背后，也隐藏着巨大的成本和能耗压力。为了让 AI 训练更高效，科学家们一直在寻找更强大的优化器，就像一位教练，引导模型的参数不断优化，最终达到最佳状态。AdamW 作为 Transformer 预训练的默认优化器，多年来一直是业界标杆。然而，面对日益庞大的模型规模，AdamW 也开始显得力不从心。难道就没有一种方法，既能提升训练速度，又能降低能耗吗?别急

2016 年的《精灵宝可梦Go》曾被视为最纯真的游戏体验，鼓励玩家漫步社区、结识陌生人。而到了 2024 年，这款游戏却悄然变身为一个惊人的地理空间人工智能训练场。Niantic开发团队近期披露了一个惊人秘密：多年来，数百万玩家在玩游戏的同时，实际上一直在帮助训练一个庞大的地理空间人工智能系统。这个被称为视觉定位系统（VPS）的技术，正在通过玩家的日常游戏行为，帮助AI学习复杂的三维空间信息。最巧妙的是，这个过程几乎是无感知的。就像互联网文本训练ChatGPT一样，玩家在

在人工智能领域，规模越大似乎就意味着能力越强。为了追求更强大的语言模型，各大科技公司都在疯狂堆叠模型参数和训练数据，结果却发现成本也随之水涨船高。难道就没有一种既经济又高效的方法来训练语言模型吗?来自哈佛大学和斯坦福大学的研究人员最近发表了一篇论文，他们发现，模型训练的精度（precision） 就像一把隐藏的钥匙，可以解锁语言模型训练的“成本密码”。什么是模型精度?简单来说，它指的是模型参数和计算过程中使用的数字位数。传统的深度学习模型通常使用

大模型（LLM）如GPT、Llama等在人工智能领域掀起了一场革命，但如何高效地训练这些庞大的模型并使其符合人类价值观仍然是一个难题。强化学习与人类反馈（RLHF）作为一种重要的LLM训练方法，近年来得到广泛应用，但传统的RLHF框架在灵活性、效率和可扩展性方面存在局限性。为解决这些问题，字节跳动豆包大模型团队开源了名为HybridFlow的RLHF框架，为LLM训练带来了新的可能性。RLHF通常包含三个阶段:首先，actor模型根据输入的提示生成文本;然后，critic模型、reference模型和reward模型对生成

最近，开放源代码倡议组织（OSI）发布了一项新定义，明确什么才算是真正的 “开源” 人工智能。这一新标准引起了科技巨头们的关注，尤其是 Meta 的 Llama 模型，因为它并不符合这些规则。OSI 一直是开放源代码软件的行业标准制定者，但在 AI 系统中，有一些传统许可证未能覆盖的元素，比如模型训练数据。根据 OSI 的新定义，任何被认为是真正开放源代码的 AI 系统必须提供三样东西:首先是有关训练 AI 所用数据的详细信息，以便他人能够理解并重现这些结果;其次是用于构建和运行 AI 的

字节跳动近期针对“实习生破坏大模型训练”的传闻进行了官方回应。该公司确认，确实有一名实习生恶意干扰了商业化技术团队的研究项目模型训练任务，但这一行为并未影响到公司的正式商业项目和线上业务，也没有涉及到字节跳动的其他大型模型业务。此外，字节跳动还指出，网络上流传的“涉及8000多卡、损失上千万美元”的说法是严重夸大的。据公开报道，该实习生在字节跳动商业化技术团队实习期间，因对团队资源分配不满，利用了Hugging Face平台的漏洞，使用攻击代码破坏了团

社交网络平台X（原Twitter）周三更新了其隐私政策，引发了广泛关注和讨论。新政策显示，X将默认允许第三方"合作伙伴"使用平台数据训练AI模型，除非用户主动选择退出。这一举动不仅凸显了X在寻求新收入来源方面的努力，也引发了对用户数据隐私保护的担忧。新政策的核心变化包括:第三方数据使用:新增条款允许第三方合作伙伴使用X用户数据，包括训练AI模型。用户可以选择退出，但默认情况下将参与此计划。数据保留期限:移除了之前关于个人识别信息最长保留18个月的说明，改为根据

火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型，标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调，AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验，火山引擎正积极探索AI大模型与视频技术的融合，为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出，大模型训练面临诸多挑战，包括海量数据处理成本高、样本质量不一、处理链路复杂，以及多种异构算力资源的调度问题。

据CNBC报道，旧金山的人工智能初创公司Writer周三推出了一款大型人工智能模型，与OpenAI、Anthropic等公司提供的企业产品展开竞争。令人瞩目的是，Writer只需花费约70万美元来训练其最新模型，包括数据和GPU，而竞争对手的初创公司则花费了数百万美元来构建自己的模型。图源备注:图片由AI生成，图片授权服务商MidjourneyWriter使用合成数据（即人工智能创建的数据）来降低成本。它旨在模拟通常输入模型的真实世界信息，而不会损害隐私，并且正在成为一种更受欢迎的训练方法。亚马逊、Meta

在 AI 的世界里，数据就像是金矿，越丰富越闪亮。最近，LLM360推出了一个令人瞩目的数据集 TxT360，专为大语言模型训练量身定做。这个庞然大物不仅收录了来自各行各业的高质量文本数据，更是经历了一场全球范围的去重大作战，最终汇聚成5.7万亿个优质 tokens，真可谓是 “数据界的百宝箱”!TxT360的魅力在于其超大的规模和超高的质量，完胜现有的 FineWeb 和 RedPajama 等数据集。这份数据集从99个 Common Crawl 快照中抓取了互联网的精华，同时还特别挑选了14个高质量的数据源，比如法律文档和

随着人工智能技术的飞速发展，一个新兴的高薪职业悄然崛起——AI培训师。这个行业的快速发展不仅反映了AI技术的进步，也揭示了当前AI模型面临的挑战和未来发展方向。在AI发展的早期阶段，模型训练主要依靠低成本工人完成一些基础的数据标注工作。然而，随着AI竞争的加剧和模型复杂度的提升，对高素质AI培训师的需求急剧增加。这些培训师不再局限于本科生，而是包括了执业医生、金融分析师、会计师，甚至拥有博士学位的专业人士。Cohere公司的联合创始人伊凡・张表示，仅仅一

在2024年火山引擎AI创新巡展上，火山引擎总裁谭待揭晓了最新的豆包·视频生成模型。该模型具备多项先进技术，包括高效的DIT融合计算单元，这一单元能够实现视频和文本的深度压缩编码;同时，它采用了一种全新的扩散模型训练方式，确保了在生成多镜头视频时的一致性;此外，模型还整合了深度优化的Transformer结构，显著增强了视频生成的泛化能力。

Fluxgym是一款面向AI爱好者的新型训练工具，旨在降低模型训练的门槛。它具有极低的硬件要求，仅需12GB显存即可进行AI模型训练，极大地扩大了参与人群。通过结合简洁的前端和强大的后端，Fluxgym提供了一个易于操作的界面，用户只需完成简单的三个步骤即可启动训练过程。其核心优势在于对低配置设备的支持、简化用户界面和流畅的训练流程，使得AI新手也能快速上手。Fluxgym的推出降低了AI训练的进入壁垒，为更多人打开了AI世界的大门，推动了FLUX Lora模型的发展，并可能激发新的应用和创新。

飞桨框架3.0版本发布，核心升级为动静统一自动并行技术，旨在简化大模型分布式训练流程，提高开发效率。新版本支持四维至五维混合并行技术，采用多种并行方式，如数据并行、张量模型并行、流水线并行和分组参数切片并行，有效提升大模型训练效率。自动并行技术通过张量切分语法标记，自动推导分布式切分状态和添加通信算子，降低开发难度。自动并行原理包括分布式张量表示、切分推导、切分转换，支持重切分能力。飞桨提供动静统一执行模式，支持从动态图到静态图的转换，兼顾便捷性和效率。性能优化策略包括算子融合、流水线编排调度、通信-计算Overlap和通信融合，通过配置选项即可开启，进一步提升分布式训练性能。