DiffusionMat

Bild-Ausmaskierungs-Framework basierend auf Diffusionsmodellen

Normales ProduktBildBildverarbeitungAusmaskierung
DiffusionMat ist ein neuartiges Framework für die Bildausmaskierung, das ein von grob zu fein verlaufendes Alpha-Ausmaskierungsverfahren mithilfe von Diffusionsmodellen verwendet. Anders als traditionelle Methoden betrachtet unser Ansatz die Bildausmaskierung als schrittweisen Verbesserungsprozess, beginnend mit dem Hinzufügen von Rauschen zu einer groben Ausmaskierungsmaske. Durch iteratives Entrauschen mit einem vortrainierten Diffusionsmodell wird die Vorhersage schrittweise zu einer sauberen Alpha-Ausmaskierung geführt. Die wichtigste Innovation unseres Frameworks ist ein Korrekturmodul, das in jedem Entrauschungsschritt die Ausgabe anpasst, um sicherzustellen, dass das Endergebnis konsistent mit der Struktur des Eingabebildes ist. Wir führen außerdem die Alpha-Zuverlässigkeitspropagation ein, eine neue Technik, die darauf abzielt, die Nützlichkeit der verfügbaren Anleitung zu maximieren, indem sie selektiv Bereiche der Ausmaskierungsmaske mit zuverlässigen Alpha-Informationen verstärkt und so die Korrekturaufgabe vereinfacht. Um das Korrekturmodul zu trainieren, haben wir spezielle Verlustfunktionen entwickelt, die sich auf die Genauigkeit der Kanten der Alpha-Ausmaskierung und die Konsistenz ihrer opaken und transparenten Bereiche konzentrieren. Wir haben unser Modell an mehreren Bildausmaskierungs-Benchmarks evaluiert und die Ergebnisse zeigen, dass DiffusionMat konsistent besser abschneidet als bestehende Methoden.
Website öffnen

DiffusionMat Alternativen