VGGSfM

Technique de reconstruction 3D basée sur l'apprentissage profond

Produit OrdinaireImageApprentissage profondReconstruction 3D

VGGSfM est une technique de reconstruction 3D basée sur l'apprentissage profond, conçue pour reconstruire la pose de la caméra et la structure 3D d'une scène à partir d'un ensemble d'images 2D non restreintes. Cette technique utilise un cadre d'apprentissage profond entièrement différentiable pour une formation de bout en bout. Elle exploite une technique de suivi de points 2D en profondeur pour extraire des trajectoires de pixels fiables, tout en récupérant toutes les caméras basées sur les caractéristiques de l'image et des trajectoires, et en optimisant les caméras et les points 3D triangulés via une couche d'ajustement par faisceaux différentiable. VGGSfM a obtenu des performances de pointe sur trois ensembles de données populaires : CO3D, IMC Phototourism et ETH3D.

Extraction de trajectoires 2D à partir des images d'entrée
Reconstruction des caméras à l'aide des caractéristiques des images et des trajectoires
Initialisation du nuage de points basé sur ces trajectoires et paramètres de caméra
Application d'une couche d'ajustement par faisceaux pour affiner la reconstruction
Conception d'un cadre entièrement différentiable
Reconstruction de photos en conditions réelles
affichant le nuage de points et les caméras estimés
Visualisation qualitative de la reconstruction des caméras et du nuage de points sur Co3D et IMC Phototourism
Dans chaque ligne
l'image la plus à gauche contient l'image requête et les points requête

VGGSfM s'adresse principalement aux chercheurs et développeurs du domaine de la vision par ordinateur
en particulier ceux qui se spécialisent dans les techniques de reconstruction 3D et d'apprentissage profond. Cette technique peut être utilisée dans les domaines de la réalité augmentée
de la réalité virtuelle et de la conduite autonome
pour les aider à extraire des informations de structure 3D plus précises à partir d'images 2D.

Reconstruction 3D sur l'ensemble de données CO3D
Reconstruction des caméras et du nuage de points sur l'ensemble de données IMC Phototourism
Reconstruction de la pose de la caméra et de la structure 3D sur l'ensemble de données ETH3D

1. Préparer un ensemble d'images 2D non restreintes comme entrée
2. Utiliser le modèle VGGSfM pour extraire les trajectoires 2D des images d'entrée
3. Reconstruire les caméras en utilisant les trajectoires et les caractéristiques des images extraites
4. Initialiser le nuage de points basé sur les trajectoires et les paramètres des caméras
5. Appliquer une couche d'ajustement par faisceaux pour affiner la reconstruction du nuage de points et des caméras

Ouvrir le site Web

VGGSfM Dernière situation du trafic

Nombre total de visites mensuelles

3655

Taux de rebond

49.82%

Nombre moyen de pages par visite

1.3

Durée moyenne de la visite

00:00:00

VGGSfM Tendance des visites

VGGSfM Distribution géographique des visites

Best AI Websites & Tools

VGGSfM

VGGSfM Dernière situation du trafic

VGGSfM Tendance des visites

VGGSfM Distribution géographique des visites

VGGSfM Sources de trafic

VGGSfM Alternatives

VGGSfM — Technique de reconstruction 3D basée sur l'apprentissage profond

DUSt3R — Reconstruction 3D dense et sans calibration caméra

VisFusion — Reconstruction de scènes 3D à partir de vidéos

TryOffAnyone — Modèle de génération de patrons à plat à partir d'images de personnes habillées.

StableAnimator — Outil de synthèse d'animation de portrait de haute qualité préservant l'identité.

PSHuman — Reconstitue des modèles 3D réalistes du corps humain à partir d'une seule image.

LLaMA-Mesh — Unification d'un modèle linguistique et de la génération de maillages 3D

Flex3D — Génère des actifs 3D de haute qualité à partir d'une seule image ou d'une invite textuelle.

diffusion-e2e-ft — Outil de réglage fin d'un modèle de diffusion conditionnel pour les images

GenWarp — Génère des images sous de nouveaux angles de vue, tout en préservant les informations sémantiques.

CoreNet — CoreNet est une bibliothèque destinée à l'entraînement de réseaux neuronaux profonds.

DiffHuman — Génère plusieurs reconstructions 3D réalistes du corps humain à partir d'une seule image RGB.

FRESCO — Projet d'article de conférence CVPR 2024 : méthode de correspondance spatio-temporelle pour la traduction vidéo zéro-shot.

YOLOv8 — Modèle de détection et de suivi d'objets YOLOv8

GLIGEN — Modèle de génération d'images basé sur invites, open source

PRISMA — Effectue de multiples inférences à partir d'images ou de vidéos.

Vision Mamba — Cadre d'apprentissage efficace des représentations visuelles basé sur un modèle d'espace d'états bidirectionnel.

SIFU — Méthode de reconstruction de personnages virtuels 3D habillés à partir d'images de profil

FMA-Net — Modèle d'apprentissage profond pour la super-résolution et le débruitage vidéo

Repaint123 — Génère du contenu 3D de haute qualité à partir d'une seule image, rapidement.

syn-rep-learn — Apprentissage de modèles de représentation visuelle à partir de données synthétiques

Human101 — Reconstruction rapide de modèles 3D gaussiens haute-fidélité du corps humain à partir d'une seule vue

UniRef++ — Modèle unifié pour la segmentation d'objets dans les images et les vidéos

YOLO-NAS Pose — Une bibliothèque open source pour entraîner des modèles de vision par ordinateur PyTorch.

PanoHead — Synthèse 3D d'une tête complète avec perception géométrique à 360°

Segment Anything — Outil de découpage d'image IA en ligne, capable de découper n'importe quel objet dans n'importe quelle image.

HunyuanVideo-I2V — HunyuanVideo-I2V est un framework de génération d'image à vidéo basé sur HunyuanVideo, lancé par Tencent.

QwQ-32B — QwQ-32B est un puissant modèle d'inférence, conçu pour la résolution de problèmes complexes et la génération de texte, avec des performances exceptionnelles.

GaussianCity — Un framework efficace de génération de villes 3D sans limites, utilisant la technique de dessin gaussien 3D pour une génération rapide.