EMMAは、最先端のテキストから画像への拡散モデルであるELLAを基盤とした、新しい画像生成モデルです。多様なモーダルプロンプトを受け入れ、革新的な多モーダル特徴接続器設計により、テキストと補足モーダル情報を効果的に統合します。本モデルは、元のT2I拡散モデルのすべてのパラメータを固定し、追加レイヤーのみを調整することで、事前学習済みのT2I拡散モデルが秘密裏に多様なモーダルプロンプトを受け入れるという興味深い特性を明らかにしました。EMMAは、様々な既存のフレームワークに容易に適応でき、パーソナライズされたコンテキスト認識画像や動画を生成するための柔軟で効率的なツールです。