VideoDrafterは、内容の一貫性を保ったマルチシーン動画生成フレームワークです。大規模言語モデル（LLM）を利用して、入力プロンプトを、複数のシーンの脚本を含む包括的な脚本に変換します。この脚本には、イベント、前景/背景のエンティティ、カメラの動きに関するプロンプトが含まれます。VideoDrafterは脚本内の共通エンティティを識別し、LLMに各エンティティの詳細な説明を求めます。次に、各エンティティの説明をテキストツーイメージモデルに入力して、各エンティティの参照画像を生成します。最後に、参照画像、イベントの説明、カメラの動きを考慮して、拡散プロセスを通じてマルチシーン動画を生成します。拡散モデルは、参照画像を条件とアライメントとして処理し、マルチシーン動画の内容の一貫性を高めます。