Autrefois, la génération d'images 3D était une tâche extrêmement difficile, impliquant des structures filaires, des logiciels et du matériel complexes. Aujourd'hui, la situation a radicalement changé. Stability AI a récemment annoncé une nouvelle technologie d'IA générative appelée Stable Fast3D, capable de générer rapidement des images 3D à partir d'une seule image.
Le plus impressionnant, selon Stability AI, est que le nouveau modèle peut générer des images 3D en une demi-seconde. Cette vitesse de traitement représente un bond qualitatif par rapport aux modèles précédents, qui pouvaient prendre plusieurs minutes pour générer des résultats similaires. Stable Fast3D est environ 1200 fois plus rapide pour accomplir la même tâche.
Accès au produit : https://top.aibase.com/tool/stable-fast-3d
Dès le mois de mars, Stability AI avait publié Stable Video3D (SV3D), nécessitant 10 minutes pour générer des actifs 3D. Stable Fast3D représente donc un progrès considérable.
Stability AI prévoit que ce nouveau modèle aura une valeur pratique dans de nombreux secteurs, notamment la conception, la construction, la vente au détail, la réalité virtuelle et le développement de jeux. Les utilisateurs peuvent accéder au modèle via le chatbot Stable Assistant, l'API Stability AI et la licence communautaire Hugging Face.
Principe de Stable Fast3D
Stable Fast3D n'a pas été construit à partir de zéro, mais provient du modèle TripoSR précédent. En mars, Stability AI a établi un partenariat avec Trip AI, un fournisseur de modélisation 3D, pour créer une technologie de génération rapide d'actifs 3D.
Dans l'article de recherche, les chercheurs décrivent en détail la méthode de travail innovante de Stable Fast3D. Au cœur de Stable Fast3D se trouve l'utilisation d'un réseau de transformateurs amélioré pour générer des tri-plans haute résolution, soit une représentation volumique 3D, à partir de l'image d'entrée. Ce réseau est conçu pour traiter efficacement des résolutions plus importantes sans augmenter considérablement la complexité de calcul, permettant ainsi une capture de détails plus fine et une réduction des artefacts de repliement.
Les chercheurs ont également détaillé une méthode innovante d'estimation des matériaux et de l'éclairage. Le réseau d'estimation des matériaux utilise une nouvelle méthode probabiliste pour prédire les valeurs globales de métal et de rugosité, ce qui améliore la qualité et la cohérence de l'image.
Il est également particulièrement important de noter que le modèle Stable Fast3D peut combiner les multiples éléments nécessaires à une image 3D (y compris la maille, les textures et les propriétés des matériaux) en un actif 3D compact et prêt à l'emploi.
Stability AI est peut-être surtout connu pour sa technologie de génération d'images à partir de texte Stable Diffusion, mais il travaille sur la 3D au moins depuis novembre 2023. Stable Video3D, publié en mars dernier, a amélioré la qualité et l'expérience de visualisation des images 3D. De plus, la société a annoncé la semaine dernière Stable Video4D, ajoutant une dimension temporelle à la génération de courtes vidéos 3D.
Rapport technique : https://static1.squarespace.com/static/6213c340453c3f502425776e/t/66ab9814a3551056403508b4/1722521625313/SF3D-10.pdf
Points clés :
- 😃Stability AI lance la technologie Stable Fast3D, générant des images 3D en une demi-seconde, une vitesse inégalée.
- 👍Le nouveau modèle a une valeur pratique dans de nombreux secteurs et est accessible de plusieurs manières.
- 👏Stability AI ne cesse de progresser, de la 2D à la 4D, en restant à la pointe de l'innovation dans la génération d'images.