L'équipe de recherche a annoncé une avancée passionnante : le développement d'un nouveau réseau neuronal baptisé HOVER (Humanoid Omni-functional Versatile Executor), comptant 1,5 million de paramètres et spécialement conçu pour coordonner les mouvements et les manipulations des robots humanoïdes.
Jim Fan, responsable de la recherche avancée chez NVIDIA, a déclaré : « Tous les modèles de base n'ont pas besoin d'être gigantesques. Le réseau neuronal de 1,5 million de paramètres que nous avons entraîné est conçu pour contrôler le corps d'un robot humanoïde. » Il a ajouté que HOVER est capable de saisir les processus inconscients du mouvement humain, permettant ainsi aux robots d'exécuter des tâches complexes sans programmation fastidieuse. Il a précisé : « Les humains effectuent de nombreux traitements inconscients lorsqu'ils marchent, maintiennent leur équilibre et manipulent leurs membres avec souplesse. »
Au cours de son entraînement, HOVER a utilisé la plateforme de simulation Isaac de NVIDIA, qui accélère la simulation physique à une vitesse 10 000 fois supérieure au temps réel.
Jim Fan a révélé que le modèle a été entraîné pendant un an dans un environnement virtuel, ce qui n'a nécessité qu'environ 50 minutes de temps réel, le tout sur un seul GPU. Il a indiqué que cet entraînement efficace permet au réseau neuronal de passer facilement aux applications réelles sans nécessiter de réglage fin.
HOVER est capable de répondre à de nombreuses instructions de mouvement de haut niveau, notamment le contrôle de la posture de la tête et des mains à l'aide de dispositifs XR (comme l'Apple Vision Pro), ou l'acquisition de la posture complète via la capture de mouvement et des caméras RVB, voire l'obtention d'angles articulaires à partir d'un exosquelette ou de commandes de vitesse de base à partir d'un joystick. Fan a souligné que HOVER fournit une interface unifiée pour contrôler les robots à partir de différents périphériques d'entrée, facilitant ainsi la collecte de données de téléopération utilisées pour l'entraînement.
De plus, HOVER est intégré à des modèles vision-langage-action en amont, permettant une conversion à haute fréquence des instructions de mouvement en signaux moteurs de bas niveau. Ce modèle est compatible avec tous les robots humanoïdes pouvant être simulés dans Isaac, permettant aux utilisateurs de donner facilement vie à leurs robots.
Début de cette année, NVIDIA avait également annoncé un projet nommé GR00T, un modèle de base généraliste conçu pour les robots humanoïdes. Les robots propulsés par GR00T (Generalist Robot00Technology) sont capables de comprendre le langage naturel et d'imiter les actions humaines par observation, ce qui leur permet d'apprendre rapidement la coordination, la flexibilité et d'autres compétences nécessaires à une interaction efficace dans le monde réel.
Lien vers l'article : https://arxiv.org/pdf/2410.21229
Points clés :
- 🤖 NVIDIA lance HOVER, un réseau neuronal de 1,5 million de paramètres destiné à contrôler les mouvements et les manipulations des robots humanoïdes.
- ⏳ HOVER a été entraîné pendant un an dans un environnement virtuel, mais l'entraînement réel n'a duré que 50 minutes, améliorant ainsi l'efficacité des applications réelles.
- 🎮 HOVER prend en charge de nombreuses instructions de mouvement de haut niveau, peut fonctionner avec différents périphériques d'entrée et fournit une interface unifiée pour le contrôle des robots.
