OpenDiTはオープンソースプロジェクトであり、Colossal-AIベースのDiffusion Transformer（DiT）の高性能実装を提供します。テキストからビデオへの生成やテキストから画像への生成といったDiTアプリケーションのトレーニングと推論効率を向上させるために設計されています。OpenDiTは以下の技術により性能を向上させます。GPU上で最大80％の高速化と50％のメモリ削減を実現し、FlashAttention、Fused AdaLN、Fused layernormといったコア最適化を含みます。ZeRO、Gemini、DDPの混合並列手法や、EMAモデルのシャーディングによるメモリコストの更なる削減、FastSeq（活性化サイズが大きくパラメータサイズが小さいDiTなどのワークロードに特に適した、新規のシーケンシャル並列手法）を採用しています。単ノードシーケンシャル並列処理により通信コストを最大48％削減し、単一GPUのメモリ制限を突破することで、トレーニングと推論の全体時間を短縮します。わずかなコード変更で大幅な性能向上を実現し、ユーザーは分散トレーニングの実装詳細を理解する必要がありません。テキストから画像への生成とテキストからビデオへの生成の完全なワークフローを提供し、研究者やエンジニアは容易に当社のワークフローを実際のアプリケーションに適用・調整でき、並列処理部分を変更する必要はありません。ImageNetを用いたテキストから画像へのトレーニングを行い、チェックポイントを公開しています。