AnimatableDreamer
非剛体3Dモデルのテキスト生成と再構成フレームワーク
一般製品デザインコンピュータグラフィックス3Dモデリング
AnimatableDreamerは、単眼ビデオからアニメーション可能な非剛体3Dモデルを生成・再構成するフレームワークです。様々な種類の非剛体オブジェクトを生成でき、ビデオから抽出されたオブジェクトの動きに沿った生成を行います。本フレームワークの主要技術は、提案する典範スコア蒸留法であり、生成次元を4Dから3Dに簡略化し、ビデオ内の異なるフレームでノイズ除去を行いながら、独自の典範空間内で蒸留プロセスを実行します。これにより、時間的一貫性のある生成と様々なポーズにおける形状のリアルさを保証します。微分可能な変形を利用することで、AnimatableDreamerは3Dジェネレーターを4Dに拡張し、非剛体3Dモデルの生成と再構成に新たな視点をもたらします。さらに、一貫性のある拡散モデルの帰納的知識と組み合わせることで、典範スコア蒸留は再構成を新たな視点から正則化し、生成プロセスを閉ループで強化します。数多くの実験により、この手法が単眼ビデオから高次元の柔軟性を備えたテキストガイド付き3Dモデルを生成し、従来の非剛体重構成手法よりも優れた再構成性能を達成することが示されています。