Lors du récent CES, Stability AI a annoncé le lancement de SPAR3D (Stable Point Aware3D), une méthode innovante de génération 3D en deux étapes capable de créer des objets 3D précis à partir d'une seule image en moins d'une seconde. Cette technologie offre aux développeurs de jeux, aux designers de produits et aux créateurs d'environnements une toute nouvelle façon de prototyper en 3D.
L'originalité de SPAR3D réside dans sa capacité à modéliser séparément les parties visibles et invisibles. Lors de la génération d'objets 3D, la méthode fournit une géométrie précise et une vue complète à 360 degrés, incluant les détails de l'arrière de l'objet. Les utilisateurs peuvent également modifier directement les objets 3D générés grâce à une fonction d'édition en temps réel, comme supprimer, copier, étirer et recolorer le nuage de points, augmentant ainsi considérablement la flexibilité et la créativité.
Le processus de travail de SPAR3D se divise en deux étapes. La première étape utilise un modèle léger de diffusion de points pour générer un nuage de points 3D clairsemé, avec une vitesse d'extraction d'échantillons extrêmement rapide. La deuxième étape utilise ces nuages de points et l'image d'entrée pour construire un modèle de maillage hautement détaillé. Cette conception améliore non seulement l'efficacité du calcul, mais garantit également la qualité de la sortie, surmontant les limites des méthodes traditionnelles de reconstruction 3D à partir d'une seule image.
Lors des tests de performance, SPAR3D a excellé sur les ensembles de données GSO et Omniobject3D, surpassant plusieurs algorithmes de pointe existants. L'équipe de recherche a validé l'efficacité de la technologie par le biais de plusieurs expériences, notamment en ce qui concerne la gestion des occlusions d'images et la reconstruction des détails. SPAR3D utilise un nuage de points explicite comme représentation intermédiaire, permettant aux utilisateurs de modifier davantage le modèle 3D et améliorant ainsi l'expérience utilisateur.
Résumé des fonctionnalités de SPAR3D :
Capacité de génération en temps réel
Génération rapide : capable de générer la structure complète d'un objet 3D à partir d'une seule image, en moins d'une seconde.
Édition efficace : la conversion du nuage de points édité en maillage final ne prend que 0,3 seconde.
Fonctions d'édition avancées
Édition de nuage de points : les utilisateurs peuvent manipuler directement le nuage de points, notamment supprimer, copier, étirer et ajouter des caractéristiques.
Recoloration : offre une fonction d'ajustement des couleurs du modèle 3D, améliorant la flexibilité de la création.
Prédiction de structure précise
Prédiction de structure complète : capable de fournir une géométrie précise et une prédiction détaillée de la vue à 360 degrés, y compris les zones cachées.
Sortie haute résolution : génère des données tri-planaires haute résolution via un transformateur tri-planaire, capturant les textures et l'éclairage de l'image.
Politique d'utilisation ouverte
Licence d'application large : autorise les utilisations commerciales et non commerciales, les utilisateurs peuvent obtenir et utiliser le modèle sur plusieurs plates-formes.
Développeur friendly : les poids peuvent être téléchargés via Hugging Face, le code est disponible sur GitHub, et l'accès est possible via une API.
Présentation officielle : https://stability.ai/news/stable-point-aware-3d
Points clés :
🌟 SPAR3D peut générer des objets 3D précis à partir d'une seule image en une seconde et prend en charge les fonctions d'édition en temps réel.
🔍 Cette technologie utilise une méthode en deux étapes, générant séparément le nuage de points et le maillage hautement détaillé, améliorant ainsi l'efficacité du calcul et la qualité de la sortie.
🚀 SPAR3D surpasse les algorithmes de reconstruction 3D existants sur plusieurs ensembles de données, démontrant des performances exceptionnelles et une capacité d'édition utilisateur.