Recientemente, el equipo de investigación de Sergey Levine en el laboratorio BAIR de la Universidad de California, Berkeley, presentó un marco de aprendizaje por refuerzo llamado HIL-SERL, diseñado para resolver el desafío de que los robots aprendan habilidades operativas complejas en el mundo real.
Esta nueva tecnología combina demostraciones y correcciones humanas con algoritmos de aprendizaje por refuerzo eficientes, permitiendo que los robots dominen diversas tareas de manipulación precisas y hábiles, como la manipulación dinámica, el ensamblaje preciso y la colaboración con dos brazos, en tan solo 1 a 2.5 horas.
Anteriormente, enseñar a los robots nuevas habilidades era una tarea ardua, como enseñar a un niño a hacer la tarea: requería enseñanza personalizada y correcciones repetidas. Más preocupante aún, la variabilidad y complejidad del mundo real hacían que los robots aprendieran lentamente, olvidaran rápidamente y cometieran errores con facilidad.
El marco HIL-SERL es como contratar un "tutor" para el robot: no solo proporciona un "libro de texto" detallado, es decir, demostraciones y correcciones humanas, sino que también incluye algoritmos de aprendizaje eficientes que ayudan al robot a dominar rápidamente diversas habilidades.
Con solo unas pocas demostraciones, el robot puede realizar diversas operaciones con precisión, desde jugar con bloques y voltear panqueques hasta ensamblar muebles e instalar placas de circuito, ¡casi cualquier cosa!
Para que el robot aprenda más rápido y mejor, HIL-SERL también incorpora un mecanismo de corrección de interacción humano-robot. En pocas palabras, cuando el robot comete un error, el operador humano puede intervenir y corregirlo, enviando esta información correctiva al robot. De esta manera, el robot puede aprender continuamente de sus errores, evitando repetirlos y convirtiéndose finalmente en un verdadero experto.
Tras una serie de experimentos, los resultados de HIL-SERL fueron excelentes. En diversas tareas, el robot logró una tasa de éxito cercana al 100% en tan solo 1 a 2.5 horas, y su velocidad de operación fue casi el doble que antes.
Más importante aún, HIL-SERL es el primer sistema del mundo real que utiliza el aprendizaje por refuerzo para lograr la coordinación de dos brazos basada en la entrada de imágenes, lo que significa que puede hacer que dos brazos robóticos trabajen juntos para realizar tareas más complejas, como ensamblar correas sincronizadoras que requieren una alta coordinación.
La aparición de HIL-SERL no solo muestra el enorme potencial del aprendizaje robótico, sino que también indica la dirección para futuras aplicaciones industriales e investigaciones. Quizás en el futuro, cada uno de nosotros tenga un "aprendiz" robot en casa que nos ayude con las tareas domésticas, el ensamblaje de muebles e incluso los juegos, ¡la idea es emocionante!
Por supuesto, HIL-SERL también tiene algunas limitaciones. Por ejemplo, puede ser insuficiente para tareas que requieren planificación a largo plazo. Además, actualmente HIL-SERL se prueba principalmente en entornos de laboratorio y aún no se ha validado a gran escala en escenarios del mundo real. Sin embargo, creemos que estos problemas se resolverán gradualmente con el avance de la tecnología.
Dirección del artículo: https://hil-serl.github.io/static/hil-serl-paper.pdf
Dirección del proyecto: https://hil-serl.github.io/