Expert Parallelism Load Balancer (EPLB)は、ディープラーニングにおけるエキスパート並列(EP)のための負荷分散アルゴリズムです。冗長エキスパート戦略とヒューリスティックなパッキングアルゴリズムにより、異なるGPU間の負荷バランスを確保し、同時にグループ制限エキスパートルーティングを利用してノード間のデータトラフィックを削減します。このアルゴリズムは大規模分散型トレーニングにおいて重要な意味を持ち、リソース利用率とトレーニング効率を向上させます。