近日，人工智能领域再度掀起波澜，月之暗面（Moonshot）宣布开源新版优化器 Muon，成功将计算效率提升至传统 AdamW 的两倍。这个新优化器的推出恰逢 DeepSeek 即将连续开源多个代码库，引发了业内的高度关注和讨论。Muon 优化器最初由 OpenAI 的研究者 Keller Jordan 等人在2024年提出，针对小规模模型训练时表现优异。然而，随着模型规模的扩大，原始 Muon 在性能提升上遭遇瓶颈。为此，月之暗面团队进行了深入的技术改进，主要包括添加权重衰减和一致的均方根（RMS）更新，以支持在大规模训

在人工智能领域，训练大型语言模型（LLMs）已成为推动技术进步的重要方向。然而，随着模型规模和数据集的不断扩大，传统的优化方法 —— 特别是 AdamW—— 逐渐显露出其局限性。研究人员面临着计算成本高、训练不稳定等一系列挑战，包括梯度消失或爆炸、参数矩阵更新不一致及分布式环境下的资源需求高等问题。因此，迫切需要更高效、更稳定的优化技术来应对这些复杂性。为了解决这些挑战，Moonshot AI （月之暗面）与加州大学洛杉矶分校(UCLA)联合开发了 Moonlight，一个使用 Muon 优