DualPipe é um algoritmo inovador de paralelismo de pipeline bidirecional, desenvolvido pela equipe DeepSeek-AI. O algoritmo reduz significativamente as bolhas no pipeline, melhorando a eficiência do treinamento, por meio da otimização da sobreposição de computação e comunicação. Ele apresenta excelente desempenho em treinamento distribuído em larga escala, especialmente para tarefas de aprendizado profundo que exigem paralelização eficiente. DualPipe é baseado em PyTorch, fácil de integrar e expandir, adequado para desenvolvedores e pesquisadores que precisam de computação de alto desempenho.