OpenDiT est un projet open source qui fournit une implémentation hautes performances du Diffusion Transformer (DiT) basé sur Colossal-AI, conçu pour améliorer l'efficacité de l'entraînement et de l'inférence des applications DiT (y compris la génération de vidéo à partir de texte et la génération d'image à partir de texte). OpenDiT améliore les performances grâce aux technologies suivantes : accélération jusqu'à 80 % sur GPU et réduction de la mémoire de 50 %; optimisations centrales incluant FlashAttention, Fused AdaLN et Fused layernorm ; méthodes de parallélisation hybride incluant ZeRO, Gemini et DDP, ainsi qu'un partitionnement du modèle EMA pour réduire encore le coût mémoire ; FastSeq : une nouvelle méthode de parallélisation séquentielle, particulièrement adaptée aux charges de travail comme DiT, où la taille de l'activation est importante mais la taille des paramètres est petite ; la parallélisation séquentielle sur un seul nœud permet d'économiser jusqu'à 48 % des coûts de communication ; dépassement des limites de mémoire d'un seul GPU, réduisant ainsi le temps global d'entraînement et d'inférence ; améliorations de performances considérables grâce à quelques modifications de code ; les utilisateurs n'ont pas besoin de connaître les détails de l'implémentation de l'entraînement distribué ; processus complet de génération d'image à partir de texte et de vidéo à partir de texte ; les chercheurs et les ingénieurs peuvent facilement utiliser et adapter notre processus à des applications réelles sans modifier la partie parallèle ; entraînement et publication de points de contrôle sur ImageNet pour la génération d'images à partir de texte.