YaFSDP
高效的分布式数据并行框架，专为大型语言模型设计。
普通产品编程分布式计算数据并行
YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。
YaFSDP 最新流量情况
月总访问量
499904316
跳出率
37.31%
平均页面访问数
5.8
平均访问时长
00:06:52
