Récemment, l'équipe de recherche de Sergey Levine au laboratoire BAIR de l'Université de Californie à Berkeley a présenté un cadre d'apprentissage par renforcement appelé HIL-SERL, visant à résoudre les difficultés rencontrées par les robots pour apprendre des compétences opérationnelles complexes dans le monde réel.
Cette nouvelle technologie combine des démonstrations et des corrections humaines avec des algorithmes d'apprentissage par renforcement efficaces, permettant aux robots de maîtriser diverses tâches de manipulation précises et habiles, telles que la manipulation dynamique, l'assemblage précis et la collaboration à deux bras, en seulement 1 à 2,5 heures.
Auparavant, apprendre de nouvelles compétences aux robots était une tâche ardue, comme apprendre à un enfant turbulent à faire ses devoirs : il fallait un enseignement personnalisé et des corrections répétées. Plus problématique encore, la variabilité des situations du monde réel rendait l'apprentissage lent, sujet à l'oubli et source d'erreurs fréquentes pour les robots.
Le cadre HIL-SERL, quant à lui, est comme un « tuteur » pour le robot. Il fournit non seulement un « manuel » détaillé, à savoir les démonstrations et les corrections humaines, mais aussi des algorithmes d'apprentissage efficaces pour aider le robot à acquérir rapidement diverses compétences.
Après quelques démonstrations seulement, le robot peut réaliser diverses manipulations avec précision, du jeu de construction à la cuisson de crêpes, en passant par l'assemblage de meubles et l'installation de cartes électroniques !
Pour un apprentissage plus rapide et plus efficace, HIL-SERL intègre un mécanisme de correction par interaction homme-machine. En termes simples, lorsque le robot fait une erreur, l'opérateur humain peut intervenir, corriger l'erreur et renvoyer ces informations au robot. Ainsi, le robot apprend constamment de ses erreurs, évite de les répéter et devient un véritable expert.
Après une série d'expériences, les résultats de HIL-SERL sont impressionnants. Dans diverses tâches, le robot a atteint un taux de réussite proche de 100 % en seulement 1 à 2,5 heures, et sa vitesse d'opération a presque doublé.
Plus important encore, HIL-SERL est le premier système à utiliser l'apprentissage par renforcement dans le monde réel pour réaliser une coordination à deux bras basée sur une entrée d'image. Autrement dit, il permet à deux bras robotiques de travailler ensemble pour accomplir des tâches plus complexes, telles que l'assemblage de courroies synchrones nécessitant une coordination précise.
L'apparition de HIL-SERL non seulement révèle l'énorme potentiel de l'apprentissage robotique, mais ouvre également la voie à des applications industrielles et des recherches futures. Peut-être que chaque foyer aura bientôt son propre « apprenti » robotique pour effectuer les tâches ménagères, assembler des meubles et même jouer ! L'idée est alléchante !
Bien sûr, HIL-SERL présente certaines limites. Par exemple, il peut être dépassé pour les tâches nécessitant une planification à long terme. De plus, HIL-SERL est actuellement testé principalement en laboratoire et n'a pas encore été validé dans des scénarios réels à grande échelle. Cependant, nous pensons que ces problèmes seront progressivement résolus avec les progrès technologiques.
Adresse de l'article : https://hil-serl.github.io/static/hil-serl-paper.pdf
Adresse du projet : https://hil-serl.github.io/
