EPLB
一个用于专家并行负载均衡的开源算法,旨在优化多GPU环境下的专家分配和负载平衡。
优质新品其他深度学习负载均衡
Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行(EP)的负载均衡算法。它通过冗余专家策略和启发式打包算法,确保不同GPU之间的负载平衡,同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义,能够提高资源利用率和训练效率。
EPLB 最新流量情况
月总访问量
521149929
跳出率
35.96%
平均页面访问数
6.1
平均访问时长
00:06:29