HOI-Swap ist ein auf Diffusionsmodellen basierendes Framework für die Videobearbeitung, das sich auf die Komplexität der Hand-Objekt-Interaktion in Videos konzentriert. Das Modell, welches durch selbstüberwachtes Training erstellt wurde, ermöglicht den Austausch von Objekten innerhalb einzelner Frames und lernt, die Interaktionsmuster der Hand – wie z.B. den Griff – an die veränderten Eigenschaften des Objekts anzupassen. In einer zweiten Phase wird die Bearbeitung einzelner Frames auf ganze Videosequenzen erweitert, wobei durch Bewegungsabgleich und Videogenerierung qualitativ hochwertige Videobearbeitungen ermöglicht werden.