PIXART LCM ist ein Text-zu-Bild-Synthese-Framework, das das Latent Consistency Model (LCM) und ControlNet in das fortschrittliche PIXART-α-Modell integriert. PIXART LCM ist bekannt für seine Fähigkeit, hochauflösende Bilder mit 1024 px Auflösung durch einen effizienten Trainingsprozess zu generieren. Die Integration von LCM in PIXART-δ beschleunigt die Inferenz deutlich, so dass hochauflösende Bilder mit nur 2-4 Schritten erzeugt werden können. Besonders hervorzuheben ist, dass PIXART-δ die Generierung von 1024 x 1024 Pixel Bildern innerhalb von 0,5 Sekunden erreicht hat – eine 7-fache Verbesserung gegenüber PIXART-α. Darüber hinaus wurde PIXART-δ so konzipiert, dass es innerhalb eines Tages auf einer 32 GB V100 GPU effizient trainiert werden kann. Mit 8-Bit-Inferenzfähigkeit kann PIXART-δ Bilder mit 1024 px Auflösung unter der Einschränkung von 8 GB GPU-Speicher synthetisieren, was seine Verfügbarkeit und Zugänglichkeit erheblich verbessert. Zusätzlich ermöglicht die Integration eines ControlNet-ähnlichen Moduls eine präzise Steuerung des Text-zu-Bild-Diffusionsmodells. Wir führen eine neuartige ControlNet-Transformer-Architektur ein, die speziell auf Transformers zugeschnitten ist und explizite Steuerbarkeit und die Generierung hochwertiger Bilder ermöglicht. Als fortschrittliches Open-Source-Bildgenerierungsmodell bietet PIXART-δ eine vielversprechende Alternative zur Stable Diffusion Modellfamilie und leistet einen wichtigen Beitrag zur Text-zu-Bild-Synthese.