相关AI新闻推荐
"佛系"优化器C-AdamW：一行代码，让大模型训练速度狂飙1.47倍！
在 AI 的世界里，"大力出奇迹" 似乎成了金科玉律。模型越大，数据越多，算力越强，仿佛就能越接近智能的圣杯。然而，这狂飙突进的背后，也隐藏着巨大的成本和能耗压力。为了让 AI 训练更高效，科学家们一直在寻找更强大的优化器，就像一位教练，引导模型的参数不断优化，最终达到最佳状态。AdamW 作为 Transformer 预训练的默认优化器，多年来一直是业界标杆。然而，面对日益庞大的模型规模，AdamW 也开始显得力不从心。难道就没有一种方法，既能提升训练速度，又能降低能耗吗?别急
字节祭出开源秘密武器HybridFlow，大模型训练速度飙升20倍，成本砍到脚脖子！
大模型（LLM）如GPT、Llama等在人工智能领域掀起了一场革命，但如何高效地训练这些庞大的模型并使其符合人类价值观仍然是一个难题。强化学习与人类反馈（RLHF）作为一种重要的LLM训练方法，近年来得到广泛应用，但传统的RLHF框架在灵活性、效率和可扩展性方面存在局限性。为解决这些问题，字节跳动豆包大模型团队开源了名为HybridFlow的RLHF框架，为LLM训练带来了新的可能性。RLHF通常包含三个阶段:首先，actor模型根据输入的提示生成文本;然后，critic模型、reference模型和reward模型对生成
字节跳动回应“实习生破坏大模型训练”：未影响正式商业项目
字节跳动近期针对“实习生破坏大模型训练”的传闻进行了官方回应。该公司确认，确实有一名实习生恶意干扰了商业化技术团队的研究项目模型训练任务，但这一行为并未影响到公司的正式商业项目和线上业务，也没有涉及到字节跳动的其他大型模型业务。此外，字节跳动还指出，网络上流传的“涉及8000多卡、损失上千万美元”的说法是严重夸大的。据公开报道，该实习生在字节跳动商业化技术团队实习期间，因对团队资源分配不满，利用了Hugging Face平台的漏洞，使用攻击代码破坏了团
火山引擎发布大模型训练视频预处理方案 PixelDance已采用
火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型，标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调，AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验，火山引擎正积极探索AI大模型与视频技术的融合，为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出，大模型训练面临诸多挑战，包括海量数据处理成本高、样本质量不一、处理链路复杂，以及多种异构算力资源的调度问题。