OpenDiT ist ein Open-Source-Projekt, das eine hochperformante Implementierung des Diffusion Transformer (DiT) basierend auf Colossal-AI bietet. Es wurde speziell entwickelt, um die Effizienz des Trainings und der Inferenz von DiT-Anwendungen (einschließlich Text-zu-Video- und Text-zu-Bild-Generierung) zu verbessern. OpenDiT steigert die Leistung durch folgende Technologien: Bis zu 80 % Beschleunigung und 50 % geringerer Speicherbedarf auf GPUs; Kernoptimierungen wie FlashAttention, Fused AdaLN und Fused Layernorm; Hybride Parallelisierungsmethoden wie ZeRO, Gemini und DDP, sowie weitere Speicherkostensenkung durch die Fragmentierung von EMA-Modellen; FastSeq: Eine neuartige sequenzielle Parallelisierungsmethode, die besonders für Workloads wie DiT geeignet ist, bei denen die Aktivierungsgröße groß, die Parametergröße jedoch klein ist; Sequenzielle Parallelisierung auf einem einzelnen Knoten kann die Kommunikationskosten um bis zu 48 % senken; Überwindung der Speicherbeschränkungen einzelner GPUs, wodurch die Gesamtzeit für Training und Inferenz reduziert wird; Erhebliche Leistungsverbesserungen durch minimale Codeänderungen; Benutzer benötigen keine Kenntnisse über die Implementierungsdetails des verteilten Trainings; Vollständiger Workflow für die Text-zu-Bild- und Text-zu-Video-Generierung; Forscher und Entwickler können unsere Workflows einfach für praktische Anwendungen nutzen und anpassen, ohne den parallelen Teil ändern zu müssen; Text-zu-Bild-Training auf ImageNet und Veröffentlichung von Checkpoints.