Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行(EP)的负载均衡算法。它通过冗余专家策略和启发式打包算法,确保不同GPU之间的负载平衡,同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义,能够提高资源利用率和训练效率。