BakedAvatar

単眼ビデオ記録から生成されたリアルタイム4Dアバター合成のためのニューラルネットワーク手法を使用

一般製品画像アバター合成ニューラルネットワーク
BakedAvatarは、標準的な多角形ラスタ化パイプラインに展開可能な、リアルタイムニューラルアバター合成のための全く新しい表現です。この手法は、学習済みのヘッドアイソサーフェスから変形可能な多層メッシュを抽出し、静的テクスチャにベイクできる表情、姿勢、視点関連の外観を計算することで、リアルタイム4Dアバター合成を実現します。3段階のニューラルアバター合成パイプラインを提案します。これには、連続変形、マニフォルド、放射場を学習すること、階層メッシュとテクスチャを抽出すること、微分ラスタ化によるテクスチャ詳細の微調整が含まれます。実験結果は、当社の表現が他の最先端手法と同等の合成結果を生み出し、必要な推論時間を大幅に削減することを示しています。さらに、ビュー合成、顔の再現、表情編集、姿勢編集など、単眼ビデオから生成された様々なアバター合成結果を示します。これらは全てインタラクティブなフレームレートで行われます。
ウェブサイトを開く

BakedAvatar 代替品