在人工智能领域，训练大型语言模型（LLMs）已成为推动技术进步的重要方向。然而，随着模型规模和数据集的不断扩大，传统的优化方法 —— 特别是 AdamW—— 逐渐显露出其局限性。研究人员面临着计算成本高、训练不稳定等一系列挑战，包括梯度消失或爆炸、参数矩阵更新不一致及分布式环境下的资源需求高等问题。因此，迫切需要更高效、更稳定的优化技术来应对这些复杂性。为了解决这些挑战，Moonshot AI （月之暗面）与加州大学洛杉矶分校(UCLA)联合开发了 Moonlight，一个使用 Muon 优
天眼查App显示，腾讯科技（深圳）有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本，在大语言模型的训练过程中为模型提供更多可学习的信息。根据专利描述，第一摘要文本和第二摘要文本所包含的信息量不同，其中第一摘要文本中还包含了正确语句和错误语句。通过对同一文本的这两个不同摘要进行对比学习，并区分学习其中的正确语句与错误语句，能够有效避免摘要文
近日，腾讯科技（深圳）有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”，旨在通过创新的训练方式，提升大语言模型的学习能力和准确性。在大语言模型的训练过程中，传统方法往往依赖于单一的文本摘要，可能导致模型过拟合，生成内容的准确性和多样性受到影响。然而，腾讯的新方法引入了两种不同的信息来源 —— 第一摘要文本和第二摘要文本。这两个摘要文本的信息
在大模型（Large Language Model，LLM）快速发展的今天，模型的训练和推理成本日益成为研究和应用的关注焦点。最近，腾讯混元团队发布了一项重要研究，深入探讨了低比特浮点量化训练的 “Scaling Laws”，即浮点数量化训练的规模法则。此项研究的核心在于通过降低模型的精度，探索如何在不损失性能的情况下，显著降低计算和存储成本。研究团队进行了多达366组不同参数规模和精度的浮点数量化训练，系统分析了影响训练效果的多种因素，包括模型大小（N）、训练数据量(D)、指数位(E)、尾
