UNIMO-Gは、複雑に交錯するテキストと視覚情報の入力を処理するための、シンプルで多様なモダリティに対応した条件付き拡散フレームワークです。2つの主要な構成要素から成り立っています。一つは、多様なモダリティの情報を統合する多様なモダリティ対応大規模言語モデル（MLLM）、もう一つは、エンコードされた多様なモダリティの入力に基づいて画像を生成する条件付きノイズ除去拡散ネットワークです。効率的なフレームワーク構築のため、2段階のトレーニング戦略を採用しています。まず、大規模なテキスト・画像ペアデータで事前学習を行い、条件付き画像生成能力を開発します。次に、多様なモダリティの情報を統合したプロンプトによるファインチューニングを行い、統一的な画像生成能力を実現しています。多様なモダリティのプロンプト構築には、言語接地と画像セグメンテーションを含む、綿密に設計されたデータ処理プロセスを採用しています。UNIMO-Gは、テキストから画像への生成やゼロショットテーマ主導合成において優れた性能を示し、複数の画像エンティティを含む複雑な多様なモダリティのプロンプトから高忠実度の画像を生成する点で非常に有効です。