CM3leon ist ein fortschrittliches Modell, das sowohl Text-zu-Bild- als auch Bild-zu-Text-Generierung ermöglicht. Es basiert auf einer an textbasierte Modelle angepassten Trainingsmethode, die eine groß angelegte, retrieval-augmentierte Pre-Training-Phase und eine mehrstufige, überwachte Feinabstimmung umfasst. CM3leon zeichnet sich durch eine vergleichbare Diversität und Effektivität wie autoregressive Modelle aus, bei gleichzeitig geringeren Trainingskosten und höherer Inferenz-Effizienz. Als kausal maskiertes, multimodaler (CM3) Modell kann es Text- und Bildsequenzen basierend auf beliebigen Bild- und Textinhalten generieren. Im Vergleich zu bisherigen Modellen, die nur Text-zu-Bild oder Bild-zu-Text-Generierung beherrschen, bietet CM3leon eine deutlich erweiterte Funktionalität in der multimodalen Generierung.