VideoTetrisは、テキストからビデオを生成する斬新なフレームワークです。特に、複数のオブジェクトやオブジェクト数の動的な変化を含む複雑なビデオ生成シーンの処理に適しています。このフレームワークは、空間時間結合拡散技術を用いて複雑なテキストの意味を正確に追従し、ノイズ除去ネットワークの空間的および時間的なアテンションマップを操作および結合することで実現しています。さらに、自己回帰ビデオ生成の一貫性を向上させる新しい参照フレームアテンションメカニズムも導入しています。VideoTetrisは、テキストからビデオへの生成において、定性的かつ定量的に印象的な結果を得ています。