相关AI新闻推荐
字节祭出开源秘密武器HybridFlow，大模型训练速度飙升20倍，成本砍到脚脖子！
大模型（LLM）如GPT、Llama等在人工智能领域掀起了一场革命，但如何高效地训练这些庞大的模型并使其符合人类价值观仍然是一个难题。强化学习与人类反馈（RLHF）作为一种重要的LLM训练方法，近年来得到广泛应用，但传统的RLHF框架在灵活性、效率和可扩展性方面存在局限性。为解决这些问题，字节跳动豆包大模型团队开源了名为HybridFlow的RLHF框架，为LLM训练带来了新的可能性。RLHF通常包含三个阶段:首先，actor模型根据输入的提示生成文本;然后，critic模型、reference模型和reward模型对生成
字节跳动回应“实习生破坏大模型训练”：未影响正式商业项目
字节跳动近期针对“实习生破坏大模型训练”的传闻进行了官方回应。该公司确认，确实有一名实习生恶意干扰了商业化技术团队的研究项目模型训练任务，但这一行为并未影响到公司的正式商业项目和线上业务，也没有涉及到字节跳动的其他大型模型业务。此外，字节跳动还指出，网络上流传的“涉及8000多卡、损失上千万美元”的说法是严重夸大的。据公开报道，该实习生在字节跳动商业化技术团队实习期间，因对团队资源分配不满，利用了Hugging Face平台的漏洞，使用攻击代码破坏了团
火山引擎发布大模型训练视频预处理方案 PixelDance已采用
火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型，标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调，AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验，火山引擎正积极探索AI大模型与视频技术的融合，为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出，大模型训练面临诸多挑战，包括海量数据处理成本高、样本质量不一、处理链路复杂，以及多种异构算力资源的调度问题。
百度飞桨框架3.0引入动静统一自动并行 简化大模型训练开发
飞桨框架3.0版本发布，核心升级为动静统一自动并行技术，旨在简化大模型分布式训练流程，提高开发效率。新版本支持四维至五维混合并行技术，采用多种并行方式，如数据并行、张量模型并行、流水线并行和分组参数切片并行，有效提升大模型训练效率。自动并行技术通过张量切分语法标记，自动推导分布式切分状态和添加通信算子，降低开发难度。自动并行原理包括分布式张量表示、切分推导、切分转换，支持重切分能力。飞桨提供动静统一执行模式，支持从动态图到静态图的转换，兼顾便捷性和效率。性能优化策略包括算子融合、流水线编排调度、通信-计算Overlap和通信融合，通过配置选项即可开启，进一步提升分布式训练性能。