在 AI 的世界里，"大力出奇迹" 似乎成了金科玉律。模型越大，数据越多，算力越强，仿佛就能越接近智能的圣杯。然而，这狂飙突进的背后，也隐藏着巨大的成本和能耗压力。为了让 AI 训练更高效，科学家们一直在寻找更强大的优化器，就像一位教练，引导模型的参数不断优化，最终达到最佳状态。AdamW 作为 Transformer 预训练的默认优化器，多年来一直是业界标杆。然而，面对日益庞大的模型规模，AdamW 也开始显得力不从心。难道就没有一种方法，既能提升训练速度，又能降低能耗吗?别急

Anthropic近日在其控制台（Console）推出了重要更新，为开发者带来了提示词优化和示例管理的全新功能。这一升级将帮助开发者更轻松地应用提示工程最佳实践，打造更可靠的AI应用。提示词质量直接影响着AI模型的输出效果。然而，不同模型平台的提示词最佳实践各不相同，优化过程往往耗时费力。针对这一痛点，Anthropic推出的提示词优化器可以自动运用先进的工程技术来完善现有提示词，特别适合优化为其他AI模型编写的提示词或手写提示词。具体来说，优化器通过五大方法来增强提示词

Nous Research 团队发布了一种名为 DisTrO 的新优化器，旨在降低分布式互联网训练中的信息传输需求，显著提升 AI 模型训练效率。DisTrO 可以在普通网络条件下进行训练，允许全球个人和机构通过自家电脑参与 AI 开发，打破了大公司垄断 AI 训练的局面。相较于传统算法 All-Reduce，DisTrO 效率提升高达 857 倍，每步训练所需传输的信息量从 74.4GB 降低到 86.8MB。这项技术使 AI 训练成本降低，让更多人能够参与，并减少了对高性能 GPU 的依赖，使得训练在速度较慢的互联网连接下也能进行。通过 DisTrO，研究人员和机构能够更自由地进行创新和实验，推动技术进步，惠及社会。该技术的开放性使得 AI 模型训练变得更加灵活，支持全球分散的 GPU 协同工作，减少了对大型数据中心的需求，对环境影响更小。DisTrO 的应用不仅限于大型语言模型，还适用于其他类型的 AI 训练，为未来 AI 发展提供了新的可能性。