DisPose
Eine Methode zur Steuerung der Animation von menschlichen Bildern.
Normales ProduktBildBildanimationBewegungsfeld-Führung
DisPose ist eine Methode zur Steuerung der Animation von menschlichen Bildern. Sie verbessert die Qualität der Videogenerierung durch Bewegungfeld-Führung und Keypoint-Korrespondenz. Diese Technologie generiert Videos aus Referenzbildern und Antriebsvideos, wobei die Bewegungsausrichtung und die Identität konsistent bleiben. DisPose generiert ein dichtes Bewegungfeld aus einem spärlichen Bewegungfeld und einem Referenzbild, wodurch eine dichte Führung auf Regionalebene bereitgestellt wird, während gleichzeitig die Generalisierungsfähigkeit der spärlichen Haltungssteuerung erhalten bleibt. Darüber hinaus extrahiert es aus dem Referenzbild Diffusionsmerkmale, die den Haltungsschlüsselpunkten entsprechen, und überträgt diese Punktmerkmale auf die Zielhaltung, um eindeutige Identitätsinformationen bereitzustellen. Die Hauptvorteile von DisPose sind die Extraktion allgemeinerer und effektiverer Steuersignale ohne zusätzlichen dichten Input sowie die Verbesserung der Qualität und Konsistenz der generierten Videos durch ein Plug-and-Play-Hybrid-ControlNet, ohne dass vorhandene Modellparameter eingefroren werden müssen.