先日、アリババは最新の技術成果であるAnimate Anyone2を発表しました。この画期的な技術は、動画の人物を正確に置き換えることができます。プロジェクトの公式ウェブサイトで公開されている事例によると、ユーザーは元の動画と目標となるキャラクターの画像を提供するだけで、元の動画のアクションの軌跡を維持したまま、人物の画像をリアルタイムで置き換えることができます。
実験データによると、このシステムはサッカー選手のシュート動作をアニメーションキャラクターに完全に移行させることができ、同時にボールの運動軌跡の現実的な物理特性も維持します。映画制作における複雑なニーズに対応するため、このシステムは照明調整と背景環境の適合もカスタマイズでき、人物とシーンの深い融合を実現します。
このシステムに搭載されているダイナミックボーンバインディング技術は、人間の28個の主要な骨格点を正確に追跡することで、肢体の動きと顔の微表情を正確に捉えることができます。公開されたテスト動画では、ダンサーの連続回転動作や武術動作の素早い動きでも、置き換えられたキャラクターは動作の連続性を維持しています。
技術的な面では、このシステムは形状に依存しないマスク戦略を採用しており、キャラクターと環境の関係をより効果的に記述することができます。また、キャラクターと周囲の物体との相互作用を強化するために、Animate Anyone2は軽量の物体ガイドを導入しています。このガイドは、キャラクターと相互作用する物体の特徴を抽出し、空間融合技術によってこれらの特徴をノイズ除去プロセスに注入します。このような設計により、キャラクターは動きの中で環境や物体との相互作用がよりスムーズでリアルに見えます。
実験の結果、Animate Anyone2は環境適応性のあるキャラクターアニメーションの生成において優れた性能を示しました。ViggleやMIMOなどの市場にある同種の製品と比較して、Animate Anyone2はキャラクターの一貫性、ディテールの保持、相互作用のリアルさにおいて、より高いレベルを示しています。これは、キャラクターアニメーション技術の発展が新たな段階に入ったことを示しています。
Animate Anyone2の登場により、ゲーム、映画制作、仮想現実など多くの分野におけるキャラクターアニメーションの応用可能性がさらに広がります。アニメーション制作者にとってより強力なツールを提供するだけでなく、視聴者により生き生きとしたリアルな視覚体験をもたらします。
プロジェクト:https://humanaigc.github.io/animate-anyone-2/
要点:
🌍 Animate Anyone2は環境の特徴を捉えることで、キャラクターと環境間のリアルな相互作用を実現します。
🎨 新しい技術として物体ガイドと空間融合を導入し、キャラクターと物体の相互作用効果を向上させました。
🚀 同種の技術と比較して、Animate Anyone2はディテールと一貫性において明確な優位性を示しています。
