最近、テンセントAIラボとテンセントPCGのARCラボが共同で、通常の2Dビデオを高精細な立体3Dビデオに変換できるStereoCrafterという新しいフレームワークを発表しました。
この革新的な技術は、特に没入型体験の分野において、高まる3Dコンテンツへの需要に応えるものです。StereoCrafterは、基礎モデルの長所を最大限に活用し、従来の変換方法の限界を克服することで、生成効果を大幅に向上させ、生成されたコンテンツが様々な表示デバイスの高精細要件を満たせるようにしています。
このシステムの中核は、主に2つのステップで構成されています。第1ステップは、深度情報に基づいたビデオの再マッピングで、オクルージョン（遮蔽）情報を抽出するのと同時にビデオ変換を行います。第2ステップは立体ビデオの修復です。このシステムは、事前学習済みの安定したビデオ拡散モデルをベースとしており、立体ビデオ修復タスクに特化した微調整プロトコルが導入されています。様々な長さや解像度のビデオ入力に対応するため、チームは自己回帰戦略とスライシング処理技術も検討し、システムが様々な入力条件に柔軟に対応できるようにしています。
トレーニングを支援するため、研究チームは大規模で高品質なデータセットを生成する複雑なデータ処理パイプラインを構築しました。データセット構築においては、膨大な数の立体ビデオから選別し、対応するビデオ深度、変換後のビデオ、オクルージョン情報を生成し、右側のビデオを真の基準としています。これらの革新的な手法は、2Dビデオを3Dビデオに変換するための現実的なソリューションを提供し、Apple Vision Proやその他の3D表示デバイスでより素晴らしい没入型体験を実現します。
StereoCrafterは技術的なブレークスルーだけでなく、デジタルメディアの体験方法にも潜在的な変革をもたらし、デジタルコンテンツの視聴や体験方法を変える可能性があります。
プロジェクト入口:https://stereocrafter.github.io/
ポイント：
🌟 StereoCrafterは新技術により、2Dビデオを没入感のある立体3Dビデオに効率的に変換します。
🖥️ システムは、深度ビデオの再構成と立体ビデオの修復という2つの主要なステップで構成され、生成効果を高めます。
📊 研究チームは、高品質なデータセットを構築し、アルゴリズムのトレーニングを支援し、出力品質を確保しています。