不错过全球AI革新的每一个时刻
每天三分钟关注AI行业趋势
AI行业大事记
列出所有AI硬件产品。
AI变现案例分享
AI图片制作变现案例分享
AI视频制作变现案例分享
AI音频制作变现案例分享
AI内容写作变现案例分享
免费分享最新AI教程内容
展示AI网站的总访问量排名
追踪AI网站访问量增长最快产品
关注访问量下降明显的AI网站
展示AI网站的周访问量排名
美国用户最喜欢的AI网站
中国用户最喜欢的AI网站
印度用户最喜欢的AI网站
巴西用户最喜欢的AI网站
AI图片生成网站总访问量榜单
AI个人助理网站总访问量榜单
AI角色生成网站总访问量榜单
AI视频生成网站总访问量榜单
热门AI项目总Start榜单
热门AI项目增速榜
热门AI开发者排名
热门AI组织排名榜单
热门deepseek开源项目
热门TTS开源项目
热门LLM开源项目
热门ChatGPT开源项目
github热门AI开源项目总览
发现与 Model Parallelism 相关的最受欢迎的开源项目和工具,了解最新的开发趋势和创新。
降低大型AI模型的成本,提升其速度和易用性
DeepSpeed是一个深度学习优化库,它使分布式训练和推理变得轻松、高效且有效。
PyTorch 中的 GPipe 实现
李白:一个用于大规模分布式并行训练的工具箱
将 PyTorch 张量切分成并行分片
易用并行库 (EPL) 是一款用于分布式模型训练的通用高效深度学习框架。
Transformer模型的分布式训练(多节点)
使用C++/MPI代理进行DNN的分布式训练(例如GPT-2、GPT-3、CosmoFlow和DLRM)
NERSC大规模深度学习培训活动
Veloce是一个基于Ray的低代码并行化库,它使机器学习计算变得新颖、高效和异构。
快速简易的分布式模型训练示例
科学领域Transformer AI模型的性能评估
针对推理任务,在异构GPU系统上实现动态神经网络自动最优流水线并行的DynPartition官方实现
使用模型并行交换技术服务分布式深度学习模型
具有跳跃连接的神经网络架构(例如 ResNet、U-Net)的模型并行化
一种用于训练深度神经网络的去中心化和分布式框架
该项目专注于在云端并行化预处理、测量和机器学习过程,以及对云端性能的评估和分析。
TorchAD-NN是一个基于TorchMPI构建的自动分布式神经网络训练库,它能够自动并行化神经网络的训练过程。
分布式 TensorFlow(模型并行)示例代码库
基于MPI的MLP分布式模型并行技术