Accès au produit : https://top.aibase.com/tool/controlmm
ControlMM a été développé pour résoudre les nombreux problèmes actuels liés à la génération de mouvements multimodaux corporels complets contrôlés par du texte, de la voix ou de la musique. Par exemple, la dérive de la distribution des mouvements dans différents scénarios de génération, l'optimisation complexe de conditions mixtes à différents niveaux de granularité, et l'incohérence des formats de mouvement dans les ensembles de données existants.
Pour relever efficacement ces défis, les chercheurs ont proposé une série de méthodes innovantes. Tout d'abord, ControlMM-Attn est utilisé pour modéliser en parallèle les graphes topologiques statiques et dynamiques du corps humain afin d'apprendre et de transmettre efficacement les connaissances sur les mouvements dans différentes distributions de mouvements.
Ensuite, ControlMM adopte une stratégie d'entraînement grossière à fine, comprenant une pré-formation texte-mouvement de phase 1 pour la génération sémantique, et une adaptation de contrôle multimodale de phase 2 pour les conditions de granularité inférieure.
De plus, pour résoudre la limitation de l'incohérence des formats de mouvement dans les benchmarks existants, ControlMM-Bench a été introduit. Il s'agit du premier benchmark de génération de mouvement corporel complet multimodale publiquement disponible basé sur un format SMPL-X corporel complet unifié.
Grâce à de nombreuses expériences, ControlMM a démontré d'excellents résultats dans diverses tâches standard de génération de mouvement. Que ce soit pour le Text-to-Motion, le Speech-to-Gesture ou le Music-to-Dance. Comparé aux modèles de référence, ControlMM présente des avantages significatifs en termes de contrôlabilité, de séquentialité et de cohérence des mouvements.
Points forts de ControlMM :
1. ** Contrôle multimodale ** : ControlMM prend en charge la génération de mouvements corporels complets à partir de plusieurs modalités, telles que le texte, la voix et la musique, améliorant ainsi les capacités de contrôle et l'adaptabilité.
2. ** Framework unifié ** : L'adoption d'un framework ControlMM unifié permet l'intégration de plusieurs tâches de génération de mouvement, améliorant ainsi l'efficacité de la génération.
3. ** Stratégie d'entraînement en plusieurs phases ** : Grâce à une stratégie d'entraînement grossière à fine, une pré-formation texte-mouvement est effectuée en premier, puis une adaptation des signaux de contrôle de bas niveau est réalisée, garantissant ainsi l'efficacité du modèle dans des conditions de granularité différentes.
4. ** Apprentissage efficace des connaissances sur les mouvements ** : Le module ControlMM-Attn modélise en parallèle les graphes topologiques dynamiques et statiques du corps humain, optimisant ainsi la représentation des séquences de mouvements et améliorant la précision de la génération de mouvements.
5. ** Introduction d'un nouveau benchmark ** : Le lancement de ControlMM-Bench fournit le premier benchmark de génération de mouvement corporel complet multimodale publiquement disponible basé sur un format SMPL-X unifié, contribuant ainsi à faire progresser la recherche et les applications dans ce domaine.
6. ** Résultats de génération exceptionnels ** : Dans toutes les tâches standard de génération de mouvement, ControlMM a démontré des performances de pointe, notamment en termes de contrôlabilité, de continuité et de cohérence des mouvements.