AnimateDiffは、個別のテキストツーイメージモデルをアニメーション化するための効率的なフレームワークです。凍結されたベースとなるテキストツーイメージモデルに、新たに初期化されたアニメーションモデリングモジュールを追加し、ビデオクリップでトレーニングすることで、妥当なアニメーションの事前知識を抽出します。トレーニングが完了すると、このアニメーションモデリングモジュールを注入することで、同じベースモデルから派生したすべての個別バージョンで、多様で個性的なアニメーション画像を生成できます。このフレームワークにより、特定のモデルに対する調整作業を削減できます。