Das PaddlePaddle Framework 3.0 wurde kürzlich mit Kern-Upgrades veröffentlicht, darunter die Einführung der dynamisch-statischen, automatischen Parallelisierungstechnologie. Ziel ist die Vereinfachung des Entwicklungsprozesses und die Steigerung der Effizienz beim verteilten Training großer Modelle.
Die neue Version unterstützt vier- und sogar fünfdimensionale Hybrid-Parallelisierungstechniken. Durch verschiedene Parallelisierungsmethoden wie Datenparallelisierung, Tensor-Modell-Parallelisierung, Pipeline-Parallelisierung und gruppierte Parameter-Slice-Parallelisierung wird die Effizienz des verteilten Trainings großer Modelle deutlich verbessert. Um die Komplexität der mehrdimensionalen Hybrid-Parallelisierungsentwicklung zu bewältigen, hat PaddlePaddle eine Lösung für die automatische Parallelisierung vorgeschlagen. Durch die Syntaxmarkierung der Tensorschnittbildung kann das Framework den verteilten Schnittzustand automatisch ableiten und Kommunikationsoperatoren hinzufügen, wodurch der Entwicklungsaufwand für verteiltes Training erheblich reduziert wird.
Die automatische Parallelisierung in PaddlePaddle Framework 3.0 umfasst wichtige Schritte wie die verteilte Tensor-Darstellung, die Ableitung der Segmentierung und die Segmentierungskonvertierung. Sie unterstützt die erneute Segmentierung und ermöglicht die Konvertierung verteilter Tensoren über ProcessMesh hinweg. Gleichzeitig bietet das Framework einen dynamisch-statischen Ausführungsmodus, der die Konvertierung von dynamischen zu statischen Graphen unterstützt und sowohl Entwicklungsfreundlichkeit als auch Ausführungseffizienz vereint.
Im Bereich der Leistungsoptimierung unterstützt PaddlePaddle Framework 3.0 verschiedene Strategien wie Operator-Fusion, Pipeline-Scheduling, Kommunikation-Berechnung-Overlap und Kommunikationsfusion. Diese können über Konfigurationsoptionen aktiviert werden und verbessern die Leistung des verteilten Trainings weiter.
PaddlePaddle Webseite: https://www.paddlepaddle.org.cn/