UNIMO-G ist ein einfaches, multimodales, bedingtes Diffusionsframework zur Verarbeitung ineinandergreifender Text- und visueller Eingaben. Es besteht aus zwei Kernkomponenten: einem multimodalen Large Language Model (MLLM) zur Kodierung multimodaler Eingabeaufforderungen und einem bedingten Entrauschungsdiffusionsnetzwerk zur Bildgenerierung basierend auf den kodierten multimodalen Eingaben. Wir nutzen eine zweistufige Trainingsstrategie, um das Framework effizient zu trainieren: Zunächst findet ein Pretraining auf einem großen Datensatz aus Text-Bild-Paaren statt, um die Fähigkeit zur bedingten Bildgenerierung zu entwickeln. Anschließend erfolgt eine feingetunte Anpassung mit multimodalen Eingabeaufforderungen, um die universelle Bildgenerierungsfähigkeit zu erreichen. Wir verwenden einen sorgfältig entwickelten Datenverarbeitungsprozess, einschließlich Grounding von Sprache und Bildsegmentierung, um multimodale Eingabeaufforderungen zu erstellen. UNIMO-G zeichnet sich durch hervorragende Leistung bei der Text-zu-Bild-Generierung und der Null-Shot-thematisch gesteuerten Synthese aus und ist besonders effektiv bei der Generierung von hochauflösenden Bildern aus komplexen multimodalen Eingabeaufforderungen, die mehrere Bildelemente umfassen.