VividTalkは、3D混合事前学習に基づく、ワンショット音声駆動のアバター生成技術です。表情豊かで自然な頭部姿勢、リップシンクを備えたリアルなラップビデオを生成できます。この技術は2段階の汎用フレームワークを採用し、上記すべての特性を備えた高画質のラップビデオの生成をサポートしています。具体的には、第1段階では、2種類の動き（非剛体的な表情運動と剛体的な頭部運動）を学習することで、音声をメッシュにマッピングします。表情運動については、混合形状と頂点を中間表現として採用し、モデルの表現能力を最大化します。自然な頭部運動については、新規の学習可能な頭部姿勢コードブックを提案し、2段階の訓練メカニズムを採用しています。第2段階では、双方向運動VAEとジェネレーターを提案し、メッシュを密集した動きに変換し、フレームごとに高画質ビデオを合成します。広範な実験により、VividTalkはリップシンクとリアルなエンハンスメントを備えた高画質のラップビデオを生成でき、客観的および主観的な比較において、従来最先端の作品を上回ることが実証されました。この技術のコードは、発表後に公開されます。