本製品は、特に会話動画におけるジャンプカットを滑らかにする革新的なフレームワークを提供します。DensePoseキーポイントと顔面ランドマークを駆使した中間表現を用いて、他のソースフレームの情報を取り込みます。モーションを実現するため、カット周辺の端フレーム間でキーポイントとランドマークを補間します。その後、画像変換ネットワークを用いて、キーポイントとソースフレームからピクセルを合成します。キーポイントに誤りがある可能性があるため、各キーポイントに最適なソースを選択するためのクロスモーダルアテンション機構を提案しています。この中間表現を活用することで、強力な動画補間ベンチマークよりも優れた結果を得ることができます。私たちは、言い淀みやポーズ、さらにはランダムなカットなど、会話動画における様々なジャンプカットで本手法を実証しました。実験の結果、会話者の頭部の回転や激しい動きといった困難な状況下でも、シームレスな遷移を実現できることが示されました。