ControlMMは、香港中文大学とテンセントが共同開発した革新的な技術フレームワークであり、マルチモーダル全身動作生成における課題解決を目指しています。このフレームワークは、テキスト、音声、音楽などのマルチモーダル入力をサポートし、コンテンツに合わせた全身動作を生成します。ControlMM-Attnモジュールを用いて動的および静的な人体トポロジーを並列処理することにより、効率的な運動知識学習を実現します。段階的なトレーニング戦略を採用し、テキストから運動プリトレーニング、マルチモーダル制御適応まで行うことで、さまざまな条件下でのモデルの有効性を確保します。ControlMM-Be