VideoVAEPlus

高忠実度ビデオエンコーディング。大規模な動きのシーンにも対応するビデオ自己符号化器です。

一般製品ビデオビデオエンコーディング変分オートエンコーダー
これは、ビデオ冗長性を削減し、効率的なビデオ生成を促進することを目的としたビデオ変分オートエンコーダー(VAE)です。本モデルでは、画像VAEを直接3D VAEに拡張するとモーションブラーとディテール歪みが発生することを観察し、空間情報のエンコードとデコードを向上させるため、時間認識空間圧縮を提案しています。さらに、軽量なモーション圧縮モデルを統合し、時間圧縮をさらに実現しています。テキストからビデオのデータセットに固有のテキスト情報を活用し、モデルにテキストガイダンスを追加することで、特にディテール保持と時間安定性に関して、再構成品質が大幅に向上しました。また、画像とビデオで共同トレーニングを行うことで汎用性を高め、再構成品質の向上だけでなく、画像とビデオの自己符号化も可能にしました。広範な評価により、本手法が最新の強力なベースラインよりも優れた性能を示すことが明らかになりました。
ウェブサイトを開く

VideoVAEPlus 代替品