Flux es una biblioteca de superposición de comunicación de alto rendimiento desarrollada por ByteDance, diseñada específicamente para el paralelismo de tensores y expertos en GPU. Gracias a sus núcleos eficientes y a su compatibilidad con PyTorch, admite varias estrategias de paralelización y es adecuada para el entrenamiento e inferencia de modelos a gran escala. Las principales ventajas de Flux incluyen su alto rendimiento, su fácil integración y su compatibilidad con varias arquitecturas de GPU NVIDIA. Destaca en el entrenamiento distribuido a gran escala, especialmente en modelos Mixture-of-Experts (MoE), donde puede mejorar significativamente la eficiencia computacional.