zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-08-22 08:40:49
.
AIbase
.
11.2k
百度飞桨框架3.0引入动静统一自动并行 简化大模型训练开发
飞桨框架3.0版本发布,核心升级为动静统一自动并行技术,旨在简化大模型分布式训练流程,提高开发效率。新版本支持四维至五维混合并行技术,采用多种并行方式,如数据并行、张量模型并行、流水线并行和分组参数切片并行,有效提升大模型训练效率。自动并行技术通过张量切分语法标记,自动推导分布式切分状态和添加通信算子,降低开发难度。自动并行原理包括分布式张量表示、切分推导、切分转换,支持重切分能力。飞桨提供动静统一执行模式,支持从动态图到静态图的转换,兼顾便捷性和效率。性能优化策略包括算子融合、流水线编排调度、通信-计算Overlap和通信融合,通过配置选项即可开启,进一步提升分布式训练性能。
2024-01-10 14:31:01
.
AIbase
.
4.8k
科学家创新技术成功训练ChatGPT级别万亿参数模型
["科学家仅使用8%计算能力成功训练了ChatGPT级别的模型。","研究团队在Frontier超级计算机上采用创新技术,仅用数千个AMD GPU训练了万亿参数的语言模型。","研究团队在仅占用计算能力8%的情况下,实现了1750亿参数和1万亿参数模型的100%弱扩展效率。","研究结果显示训练拥有万亿参数的大型语言模型仍然具有挑战性。"]