zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-08-22 08:40:49
.
AIbase
.
11.2k
百度飞桨框架3.0引入动静统一自动并行 简化大模型训练开发
飞桨框架3.0版本发布,核心升级为动静统一自动并行技术,旨在简化大模型分布式训练流程,提高开发效率。新版本支持四维至五维混合并行技术,采用多种并行方式,如数据并行、张量模型并行、流水线并行和分组参数切片并行,有效提升大模型训练效率。自动并行技术通过张量切分语法标记,自动推导分布式切分状态和添加通信算子,降低开发难度。自动并行原理包括分布式张量表示、切分推导、切分转换,支持重切分能力。飞桨提供动静统一执行模式,支持从动态图到静态图的转换,兼顾便捷性和效率。性能优化策略包括算子融合、流水线编排调度、通信-计算Overlap和通信融合,通过配置选项即可开启,进一步提升分布式训练性能。