DualPipe est un algorithme innovant de parallélisation pipeline bidirectionnel, développé par l'équipe DeepSeek-AI. Cet algorithme, en optimisant le chevauchement des calculs et des communications, réduit significativement les bulles du pipeline et améliore l'efficacité de l'entraînement. Il offre d'excellentes performances lors de l'entraînement distribué à grande échelle, particulièrement adapté aux tâches d'apprentissage profond nécessitant une parallélisation efficace. DualPipe est basé sur PyTorch, facile à intégrer et à étendre, et convient aux développeurs et chercheurs recherchant des performances de calcul élevées.