Auf der kürzlich zu Ende gegangenen CES präsentierte Stability AI eine innovative Methode namens SPAR3D (Stable Point Aware3D), eine zweistufige 3D-Generierungstechnologie, die in weniger als einer Sekunde präzise 3D-Objekte aus einem einzelnen Bild erstellen kann. Diese Technologie bietet Spieleentwicklern, Produktdesignern und Umgebungsgestaltern eine völlig neue Möglichkeit, 3D-Prototypen zu entwickeln.
Das Besondere an SPAR3D ist seine Fähigkeit, sichtbare und unsichtbare Teile separat zu modellieren. Bei der Generierung von 3D-Objekten liefert die Methode eine präzise Geometrie und eine vollständige 360-Grad-Ansicht, einschließlich der Details der Rückseite des Objekts. Benutzer können das generierte 3D-Objekt auch durch Echtzeit-Bearbeitungsfunktionen direkt bearbeiten, z. B. Punktewolken löschen, kopieren, strecken und neu einfärben, was die Flexibilität und den kreativen Spielraum erheblich erhöht.
Der Arbeitsablauf von SPAR3D lässt sich in zwei Phasen unterteilen. In der ersten Phase wird ein leichtgewichtiges Punktdiffusionsmodell verwendet, um eine spärliche 3D-Punktwolke zu generieren, wobei die Extraktion der Stichproben extrem schnell erfolgt. In der zweiten Phase wird diese Punktwolke zusammen mit dem Eingabebild verwendet, um ein detailliertes Netzmodell zu erstellen. Dieses Design verbessert nicht nur die Rechenleistung, sondern garantiert auch die Ausgabequalität und überwindet die Grenzen herkömmlicher 3D-Rekonstruktionsmethoden aus Einzelbildern.
In Leistungstests schnitt SPAR3D auf den Datensätzen GSO und Omniobject3D hervorragend ab und übertraf mehrere aktuelle Top-Algorithmen. Das Forschungsteam hat die Wirksamkeit der Technologie durch mehrere Experimente bestätigt, insbesondere die Vorteile bei der Behandlung von Bildverdeckungen und der detaillierten Rekonstruktion. SPAR3D verwendet explizit Punktwolken als Zwischenrepräsentation, sodass Benutzer das 3D-Modell weiter bearbeiten können, was die Benutzerfreundlichkeit verbessert.
Zusammenfassung der SPAR3D-Funktionen:
Echtzeit-Generierungsfähigkeit
Schnelle Generierung: Kann aus einem einzelnen Bild eine vollständige 3D-Objektstruktur generieren; die Generierungszeit beträgt weniger als eine Sekunde.
Effiziente Bearbeitung: Die Umwandlung der bearbeiteten Punktwolke in das endgültige Netz dauert nur 0,3 Sekunden.
Moderne Bearbeitungsfunktionen
Punktwolkenbearbeitung: Benutzer können die Punktwolken direkt bearbeiten, einschließlich Löschen, Kopieren, Strecken und Hinzufügen von Merkmalen.
Umfärben: Bietet die Möglichkeit, die Farbe des 3D-Modells anzupassen und die kreative Flexibilität zu erhöhen.
Präzise Strukturvorhersage
Vollständige Strukturvorhersage: Kann eine präzise Geometrie und eine detaillierte 360-Grad-Ansicht vorhersagen, einschließlich verdeckter Bereiche.
Hochauflösende Ausgabe: Generiert hochauflösende Drei-Ebenen-Daten über einen Drei-Ebenen-Transformator, um Textur und Beleuchtung des Bildes einzufangen.
Offene Nutzungsrichtlinien
Breit gefächerte Anwendungslizenz: Unterstützt kommerzielle und nicht-kommerzielle Zwecke; Benutzer können das Modell auf verschiedenen Plattformen beziehen und verwenden.
Entwicklerfreundlich: Gewichte können über Hugging Face heruntergeladen, Code kann auf GitHub verwendet oder über eine API zugegriffen werden.
Offizielle Einführung: https://stability.ai/news/stable-point-aware-3d
Wichtigste Punkte:
🌟 SPAR3D kann innerhalb einer Sekunde aus einem einzelnen Bild präzise 3D-Objekte generieren und unterstützt Echtzeit-Bearbeitungsfunktionen.
🔍 Die Technologie verwendet einen zweistufigen Ansatz, der separat Punktwolken und detaillierte Netze generiert, wodurch die Rechenleistung und die Ausgabequalität verbessert werden.
🚀 SPAR3D übertrifft in mehreren Datensätzen bestehende 3D-Rekonstruktionsalgorithmen und zeigt eine hervorragende Leistung und Benutzerbearbeitungsfähigkeit.