Récemment, les laboratoires IA et ARC de Tencent PCG ont collaboré pour lancer StereoCrafter, un nouveau framework capable de convertir des vidéos 2D ordinaires en vidéos 3D stéréoscopiques haute fidélité.
Cette innovation répond à la demande croissante de contenu 3D, notamment dans le domaine des expériences immersives. StereoCrafter tire pleinement parti des avantages des modèles de base, surmontant les limites des méthodes de conversion traditionnelles et améliorant considérablement la qualité de génération pour répondre aux exigences de haute fidélité de divers appareils d'affichage.
Le système repose sur deux étapes principales. La première consiste à remapper la vidéo en fonction des informations de profondeur, en extrayant simultanément les informations d'occlusion et en effectuant la transformation vidéo ; la seconde étape est la restauration de la vidéo stéréoscopique. Le système utilise un modèle de diffusion vidéo stable pré-entraîné comme base et introduit un protocole d'ajustement fin pour la tâche de restauration vidéo stéréoscopique. Pour gérer les vidéos d'entrée de différentes longueurs et résolutions, l'équipe a également exploré des stratégies autorégressives et des techniques de traitement par tranches, garantissant ainsi la flexibilité du système pour diverses conditions d'entrée.
Pour soutenir l'entraînement, l'équipe a mis en place un pipeline de traitement de données complexe, générant un ensemble de données à grande échelle et de haute qualité. Lors de la création de l'ensemble de données, l'équipe de recherche a sélectionné un grand nombre de vidéos stéréoscopiques et a généré les profondeurs vidéo correspondantes, les vidéos transformées et les informations d'occlusion, en veillant à ce que la vidéo de droite serve de référence réelle. Ces méthodes innovantes offrent une solution viable pour convertir les vidéos 2D en vidéos 3D, permettant à Apple Vision Pro et à d'autres appareils d'affichage 3D d'offrir des expériences immersives plus riches.
StereoCrafter représente non seulement une avancée technologique, mais aussi une transformation potentielle de la façon dont nous expérimentons les médias numériques, modifiant potentiellement la façon dont nous regardons et apprécions le contenu numérique.
Accès au projet : https://stereocrafter.github.io/
Points clés :
🌟 StereoCrafter convertit efficacement les vidéos 2D en vidéos 3D stéréoscopiques immersives grâce à une nouvelle technologie.
🖥️ Le système se compose de deux étapes principales : la reconstruction vidéo en profondeur et la restauration vidéo stéréoscopique, améliorant ainsi la qualité de génération.
📊 L'équipe de recherche a créé un ensemble de données de haute qualité pour soutenir l'entraînement de l'algorithme et garantir la qualité de la sortie.
