MagicDanceは、リアルな人間のビデオを生成し、生き生きとした動きや表情の移行、そして一貫した2Dアニメーションスタイルのゼロショット生成を実現する、新しく効果的な手法です。MagicDanceを使用することで、Stable DiffusionやControlNetなどの従来のテキストツーイメージモデルでは正確に維持するのが困難な被写体のアイデンティティ情報を正確に保持した、外観が一致した結果を生成できます。さらに、提案するモジュールは、プリトレーニング済みの重みを変更することなく、従来のテキストツーイメージモデルの拡張／プラグインとして機能します。