Fluxは、バイトダンスが開発した高性能通信オーバーラップライブラリで、GPU上のテンソルとエキスパート並列化のために設計されています。効率的なカーネルとPyTorchとの互換性により、さまざまな並列化戦略をサポートし、大規模モデルの訓練と推論に適しています。Fluxの主な利点には、高性能、容易な統合、およびさまざまなNVIDIA GPUアーキテクチャのサポートが含まれます。大規模分散型訓練、特にMixture-of-Experts（MoE）モデルにおいて優れたパフォーマンスを発揮し、計算効率を大幅に向上させることができます。