PaddlePaddleフレームワーク3.0版が先日、コア機能のアップグレードを発表しました。動静統一自動並列技術が導入され、大規模モデルの分散学習開発プロセスの簡素化と開発効率の向上を目指しています。
新バージョンは4次元、さらには5次元混合並列技術をサポートします。データ並列、テンソルモデル並列、パイプライン並列、グループパラメータ分割並列など、複数の並列方式により、大規模モデルの分散学習効率を効果的に向上させます。多次元混合並列開発プロセスの複雑さに対処するため、PaddlePaddleは自動並列技術ソリューションを提案しました。テンソル分割の構文マーキングにより、フレームワークは分散分割状態を自動的に推論し、通信演算子を自動的に追加することで、分散学習の開発難易度を大幅に削減します。
PaddlePaddleフレームワーク3.0の自動並列の原理には、分散テンソル表現、分割推論、分割変換などの重要な段階が含まれ、再分割機能をサポートし、ProcessMeshを跨いでの分散テンソル変換を可能にします。同時に、フレームワークは動静統一実行モードを提供し、動的グラフから静的グラフへの変換をサポートし、開発の容易さと実行効率の両立を実現します。
性能最適化において、PaddlePaddleフレームワーク3.0は、演算子融合、パイプライン編成スケジューリング、通信-計算オーバーラップ、通信融合など、複数の戦略をサポートします。設定オプションで有効にすることができ、分散学習性能をさらに向上させます。
PaddlePaddle公式ウェブサイト：https://www.paddlepaddle.org.cn/
