IP-アダプターは、軽量なアダプターで、事前学習済みのテキストから画像を生成する拡散モデルに画像プロンプト機能を追加します。主な設計思想は、テキスト特徴量と画像特徴量のクロスアテンション層を分離する、デカップリングされたクロスアテンション機構です。IP-アダプターは、既存の制御ツールとの互換性があり、テキストプロンプトと合わせてマルチモーダル画像生成を実現します。既存の方法と比較して、IP-アダプターは画像品質が優れており、マルチモーダルプロンプトにより合致した画像を生成できます。