VideoReTalkingは、入力された音声に合わせて実写の会話シーンの顔の表情を編集し、感情が異なっていても高品質な唇の同期を実現する新しいシステムです。このシステムは、この目標を以下の3つの連続したタスクに分解します。（1）表情編集ネットワークを用いて、標準的な表情の顔のビデオを生成する；（2）音声駆動による唇の同期；（3）写真のような写実性を高めるための顔の強化。会話シーンのビデオが与えられると、まず表情編集ネットワークを使用して各フレームの表情を同じ表情テンプレートで修正し、標準的な表情のビデオを得ます。次に、このビデオと与えられた音声を唇の同期ネットワークに入力して、唇の同期ビデオを生成します。最後に、識別情報に基づいた顔の強化ネットワークと後処理によって、合成された顔の写真のような写実性を高めます。3つのステップ全てで学習に基づいた手法を用いており、全てのモジュールは順番にパイプライン処理され、ユーザーによる介入は一切必要ありません。