StableIdentity basiert auf den neuesten Fortschritten bei großen, vortrainierten Text-zu-Bild-Modellen und ermöglicht die Erzeugung von hochwertigen, menschenzentrierten Bildern. Im Gegensatz zu bestehenden Methoden gewährleistet StableIdentity eine stabile Identitätserhaltung und flexible Bearbeitbarkeit, selbst wenn pro Person nur ein Gesichtsbild im Training verwendet wird. Es nutzt einen Gesichtskodierer und eine Identitäts-A-priori-Information zur Kodierung des Eingabegesichts, welches dann in einen bearbeitbaren A-priori-Raum projiziert wird. Durch die Kombination der Identitäts-A-priori-Information und der Bearbeitbarkeits-A-priori-Information kann die erlernte Identität in verschiedene Kontexte eingefügt werden. Zusätzlich beinhaltet StableIdentity einen maskierten zweistufigen Diffusionsverlust, um die pixelgenaue Wahrnehmung des Eingabegesichts zu verbessern und die Vielfalt der Generierung zu erhalten. Umfangreiche Experimente zeigen, dass StableIdentity die Leistung bisheriger maßgeschneiderter Methoden übertrifft. Die erlernte Identität kann flexibel mit bestehenden Modulen wie ControlNet kombiniert werden. Bemerkenswert ist, dass wir die ersten sind, die die aus einem einzigen Bild erlernte Identität direkt in die Video-/3D-Generierung einfügen können, ohne ein Feintuning durchführen zu müssen. Wir sind überzeugt, dass StableIdentity ein wichtiger Schritt zur Vereinheitlichung von Bild-, Video- und 3D-Generierungsmodellen nach Maß ist.