2025年3月10日、TrajectoryCrafterという最先端技術が正式に発表され、テクノロジー界と動画制作業界で大きな注目を集めました。拡散モデル(diffusion models)に基づいたこの革新的な技術は、単一視点の単眼ビデオから新しい視点の映像を推定・生成することができ、ビデオ編集に革命的な可能性をもたらします。
TrajectoryCrafter の核心は、その強力な視点リダイレクト機能にあります。従来の単眼ビデオは単一のカメラ視点に制限されており、クリエイターは後から撮影角度やカメラワークを調整することができませんでした。しかしTrajectoryCrafterは、拡散モデルの深層学習技術を用いてビデオの内容を分析し、3次元空間情報を推定することで、ユーザーが後から自由にカメラの位置と角度を調整することを可能にします。物体の周りを回転させたり、ズームインして詳細を捉えたり、ズームアウトして全景を表示したり、この技術ですべて簡単に実現できます。「バレットタイム」(bullet time)のようなエフェクト、つまり時間を凍結させながらカメラが被写体の周りを回転する、非常にインパクトのある視覚体験も実現可能です。
さらに、TrajectoryCrafterは6自由度(6DoF)のカメラ調整に対応しています。つまり、ユーザーはレンズの前後左右の移動だけでなく、ピッチ、ヨー、ロールの角度も調整できます。この柔軟性により、ビデオ編集者はかつてないほどの創作の自由を得ることができます。例えば、簡単なスマホ撮影ビデオでも、TrajectoryCrafterで処理することで、プロ仕様の撮影機器で撮影された複数視点のダイナミックな映像に変換できます。
開発者は公開ページで、多くの印象的な事例を紹介しています。例えば、ストリートパフォーマンスを記録した単眼ビデオでは、TrajectoryCrafterはパフォーマーを様々な角度から撮影した映像を生成し、低角度からゆっくりと高角度にカメラが上昇するようなカメラワークをシミュレートすることに成功しました。デモビデオでは、この技術が複雑な動的なシーンにも対応し、生成された視点が時間的・空間的に整合性を保っていることが示されています。
現在、TrajectoryCrafterのコードとデモはオンラインで公開されており、開発者や研究者が体験・テストできます。この技術の登場は、人工知能によるビデオ生成分野の進歩を促進するだけでなく、一般ユーザーにもより創造的なツールを提供します。業界関係者は、TrajectoryCrafterが短編動画制作、映画の後期制作、さらには仮想現実コンテンツの生成方法を変える可能性があると予測しています。
TrajectoryCrafter 公式サイト: https://trajectorycrafter.github.io/
TrajectoryCrafter オンライン試用: https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter