最近、快手はCineMasterという新しいテキストからビデオ生成フレームワークを発表しました。このフレームワークは3D認識機能を備えており、ビデオ版ControlNetと呼ばれています。CineMasterを使用すると、ユーザーは様々な制御信号によってビデオ内の物体の位置やカメラの動きを正確に制御でき、これまでにない自由度の高い創作が可能になります。

CineMasterの最大の強みは、その強力な制御能力です。ユーザーは従来のテキストプロンプトでビデオを生成するだけでなく、以下の制御信号を組み合わせて微調整することもできます。

深度マップ:シーンの深度情報と物体の空間関係を制御するために使用します。

カメラ軌道:ビデオ内のカメラの移動経路を正確に指定し、様々な複雑なカメラワークを実現します。

オブジェクトラベル:シーン内の特定の物体の位置と動作をマークし、制御するために使用します。

これらの制御信号を組み合わせることで、ユーザーは生成されたビデオコンテンツを正確に制御し、より創造的で個性的な作品を作成できます。

さらに、快手は大規模なビデオから3Dバウンディングボックスとカメラ軌跡を抽出するプロセスを提供しており、CineMasterのトレーニングとアプリケーションに強力なデータサポートを提供しています。

CineMasterのプロジェクトページが公開されました。興味のある方はcinemaster-dev.github.io/をご覧ください。