StableIdentityは、大規模な事前学習済みテキストツーイメージモデルの最新の進歩に基づいており、高品質の人物中心の生成を実現します。既存の方法とは異なり、StableIdentityは、各人物の顔画像を一枚しか使用していないトレーニングにおいても、安定したアイデンティティの維持と柔軟な編集可能性を保証できます。顔エンコーダーとアイデンティティプリオリを使用して入力顔をエンコードし、その顔表現を編集可能なプリオリ空間へ投影します。アイデンティティプリオリと編集可能性プリオリを組み合わせることで、学習されたアイデンティティを様々なコンテキストに注入できます。さらに、StableIdentityは、入力顔のピクセルレベルの認識を高め、生成物の多様性を維持するための、マスキングされた二段階拡散損失も設計しています。数多くの実験により、StableIdentityが従来のカスタマイズ手法よりも優れた性能を示すことが証明されています。学習されたアイデンティティは、ControlNetなどの既存モジュールとも柔軟に組み合わせることができます。注目すべきは、微調整なしで、単一画像から学習したアイデンティティを直接ビデオ/3D生成に注入できる最初の方法であることです。StableIdentityは、画像、ビデオ、3Dのカスタマイズ生成モデルを統一する重要な一歩だと信じています。