Upscale-A-Videoは、拡散モデルに基づいたモデルであり、低解像度ビデオとテキストプロンプトを入力として、ビデオの解像度を向上させます。このモデルは、2つの主要なメカニズムによって時間的な一貫性を確保します。局所的には、時間層をU-NetとVAE-Decoderに統合し、短いシーケンスの一貫性を維持します。大局的には、流れを誘導する循環潜在伝播モジュールを導入することにより、シーケンス全体にわたって潜在情報を伝播および融合し、ビデオ全体の安定性を向上させます。拡散パラダイムにより、テキストプロンプトによるテクスチャ生成と調整可能なノイズレベルを可能にすることで、復元と生成のバランスを取り、忠実度と画質のトレードオフを実現します。数多くの実験により、Upscale-A-Videoは、合成および現実世界のベンチマーク、ならびにAI生成ビデオにおいて、既存の方法を凌駕し、印象的な視覚的なリアリズムと時間的一貫性を示すことが実証されています。