L'équipe de recherche de Nvidia a récemment réalisé une percée majeure dans le domaine du contrôle robotique. Son système de réseau neuronal, HOVER, réalise un contrôle efficace des robots humanoïdes avec un nombre de paramètres extrêmement réduit, surpassant même les systèmes de contrôle spécialement conçus.
Ce système HOVER, ne nécessitant que 1,5 million de paramètres, est capable de gérer des contrôles de mouvements robotiques complexes. En comparaison, les grands modèles linguistiques courants nécessitent souvent des centaines de milliards de paramètres. Cette incroyable efficacité des paramètres témoigne de la finesse de la conception du système.
L'entraînement de HOVER a été effectué dans l'environnement de simulation Isaac de Nvidia, un environnement capable d'accélérer les mouvements robotiques jusqu'à 10 000 fois. Jim Fan, chercheur chez Nvidia, a révélé que cela signifie qu'une année d'entraînement dans l'espace virtuel peut être accomplie en seulement 50 minutes de calcul sur une seule GPU.
L'un des points forts du système réside dans son incroyable adaptabilité. Il peut être transféré directement de l'environnement de simulation à un robot réel sans aucun ajustement supplémentaire, et il prend en charge plusieurs modes d'entrée : il peut suivre les mouvements de la tête et des mains via des appareils XR comme l'Apple Vision Pro, obtenir des données de position corporelle complète via la capture de mouvement ou une caméra RVB, collecter les angles des articulations via un exosquelette, et même être contrôlé à l'aide d'une manette de jeu standard.
Plus surprenant encore, HOVER surpasse dans chaque mode de contrôle les systèmes développés spécifiquement pour un seul mode d'entrée. Tairan He, auteur principal, suppose que cela pourrait provenir d'une compréhension approfondie par le système de concepts physiques tels que l'équilibre et le contrôle précis des membres, lui permettant de transférer ses connaissances entre les différents modes de contrôle.
Ce système, basé sur les projets open source H2O & OmniH2O, peut contrôler tout robot humanoïde pouvant fonctionner dans le simulateur Isaac. Nvidia a actuellement publié des exemples et du code sur GitHub, ouvrant de nouvelles possibilités dans les domaines de la recherche et du développement robotique.