Flux est une bibliothèque de recouvrement de communication hautes performances développée par ByteDance, conçue pour le parallélisme de tenseurs et d'experts sur GPU. Grâce à ses noyaux efficaces et à sa compatibilité avec PyTorch, elle prend en charge plusieurs stratégies de parallélisation et convient à l'entraînement et à l'inférence de modèles à grande échelle. Les principaux avantages de Flux sont ses hautes performances, sa facilité d'intégration et sa prise en charge de plusieurs architectures de GPU NVIDIA. Il excelle dans l'entraînement distribué à grande échelle, notamment dans les modèles Mixture-of-Experts (MoE), permettant d'améliorer considérablement l'efficacité du calcul.