ActAnywhereは、前景の主体動作や外観と一致するビデオ背景を自動生成するモデルです。このタスクは、前景の主体動作や外観と一致するだけでなく、アーティストの意図にも沿った背景を合成することを含みます。ActAnywhereは大規模ビデオ拡散モデルを活用し、このタスク向けに特化して開発されました。ActAnywhereは、前景の主体セグメンテーションのシーケンスを入力として、必要なシーンを記述する画像を条件として、条件フレームと整合性のある連続ビデオを生成し、現実的な前景と背景の相互作用を実現します。このモデルは大規模な人とコンピューターのインタラクションビデオデータセットでトレーニングされています。多くの評価により、このモデルは基準モデルよりも明らかに優れた性能を示し、人間以外の主体を含む様々な分布サンプルに対して汎化できることが示されています。