La version 3.0 du framework PaddlePaddle a récemment été publiée avec des améliorations majeures, introduisant une technologie de parallélisme automatique unifiée dynamique et statique. Son objectif est de simplifier le processus de développement de l'entraînement distribué des grands modèles et d'améliorer l'efficacité du développement.
Cette nouvelle version prend en charge les techniques de parallélisme hybride quadridimensionnel et même pentadimensionnel. Elle utilise plusieurs méthodes de parallélisme, telles que le parallélisme de données, le parallélisme de modèle tensoriel, le parallélisme pipeline et le parallélisme de partitionnement de paramètres groupés, pour améliorer efficacement l'efficacité de l'entraînement distribué des grands modèles. Face à la complexité du processus de développement du parallélisme hybride multidimensionnel, PaddlePaddle propose une solution de parallélisme automatique. Grâce à des balises syntaxiques de découpage de tenseurs, le framework peut automatiquement déduire l'état de découpage distribué et ajouter des opérateurs de communication, réduisant ainsi considérablement la difficulté de développement de l'entraînement distribué.
Le parallélisme automatique de PaddlePaddle 3.0 comprend des étapes clés telles que la représentation de tenseurs distribués, l'inférence de découpage et la conversion de découpage. Il prend en charge la capacité de redécoupage, permettant la conversion de tenseurs distribués entre ProcessMesh. De plus, le framework offre un mode d'exécution unifié dynamique et statique, prenant en charge la conversion de graphe dynamique à graphe statique, alliant ainsi facilité de développement et efficacité d'exécution.
En termes d'optimisation des performances, PaddlePaddle 3.0 prend en charge plusieurs stratégies, telles que la fusion d'opérateurs, l'ordonnancement pipeline, le chevauchement communication-calcul et la fusion de communication. Ces stratégies peuvent être activées via des options de configuration, améliorant ainsi davantage les performances de l'entraînement distribué.
Site web de PaddlePaddle : https://www.paddlepaddle.org.cn/
