Durante mucho tiempo, la gente ha soñado con robots humanoides que puedan moverse con la misma flexibilidad y agilidad que los humanos, incluso superándolos. Sin embargo, debido a las diferencias físicas entre los entornos simulados y el mundo real, lograr un movimiento ágil y coordinado en todo el cuerpo del robot sigue siendo un gran desafío. Los métodos tradicionales de identificación del sistema y de aleatorización del dominio a menudo dependen de ajustes de parámetros engorrosos o hacen que los movimientos del robot sean demasiado conservadores, sacrificando la agilidad. Ahora, un nuevo marco llamado ASAP (Aligning Simulation and Real Physics) ha irrumpido en escena, que, mediante la alineación inteligente de las características físicas de la simulación y la realidad, permite a los robots humanoides dominar habilidades de movimiento corporal más ágiles.
El marco ASAP se divide en dos etapas clave. En primer lugar, en la etapa de preentrenamiento, los investigadores utilizan datos de vídeo de movimiento humano, reasignando estos movimientos a un robot humanoide y luego entrenando al robot para aprender estos movimientos en un entorno simulado. Sin embargo, aplicar directamente la estrategia entrenada en el entorno simulado a un robot real a menudo conduce a una disminución del rendimiento, ya que existen diferencias dinámicas entre el entorno simulado y el mundo real. Para solucionar este problema, el marco ASAP entra en la segunda etapa: la etapa de postratamiento. En esta etapa, los investigadores hacen que el robot realice los movimientos preentrenados en el mundo real y registran la trayectoria de movimiento real del robot.
A continuación, el marco ASAP utiliza estos datos de movimiento del mundo real para recrear el movimiento del robot en el simulador. Debido a las diferencias entre el entorno simulado y el mundo real, la trayectoria de movimiento simulada a menudo se desviará de la trayectoria de movimiento real. Esta diferencia proporciona precisamente una señal de aprendizaje para los investigadores. ASAP entrena un "modelo de movimiento de diferencia", que puede aprender y compensar las diferencias dinámicas entre la simulación y la realidad. Este modelo es como un "corrector" que puede corregir las deficiencias del simulador para que se acerque más a las características físicas del mundo real. Finalmente, los investigadores integran este "modelo de movimiento de diferencia" en el simulador y lo utilizan para ajustar la estrategia de seguimiento de movimiento preentrenada, de modo que el movimiento del robot se adapte mejor a las características físicas del mundo real. La estrategia ajustada se puede desplegar directamente en el robot del mundo real sin necesidad del "modelo de movimiento de diferencia".
Para verificar la eficacia del marco ASAP, los investigadores realizaron varios experimentos, incluyendo la transferencia entre diferentes simuladores y pruebas en el robot humanoide real Unitree G1. Los resultados experimentales muestran que el marco ASAP mejora significativamente la agilidad y la coordinación corporal del robot en varios movimientos dinámicos. En comparación con los métodos tradicionales de identificación del sistema, aleatorización del dominio y aprendizaje de diferencias dinámicas, ASAP puede reducir significativamente el error de seguimiento del movimiento.
El éxito del marco ASAP radica en su capacidad para cerrar eficazmente la brecha entre la simulación y la realidad, permitiendo que los robots humanoides entrenados en entornos simulados muestren una gran agilidad en el mundo real. Esto abre nuevas vías para el desarrollo de robots humanoides más flexibles y multifuncionales.
Tecnologías clave del marco ASAP:
Utilización de datos de movimiento humano para el preentrenamiento: Convertir los movimientos ágiles humanos en objetivos de aprendizaje para el robot, proporcionando datos de movimiento de alta calidad para el robot.
Entrenamiento del modelo de movimiento de diferencia: Mediante el aprendizaje de las diferencias entre el mundo real y el entorno simulado, se compensan dinámicamente las deficiencias del simulador, mejorando la precisión de la simulación.
Ajuste de la estrategia basado en el modelo de movimiento de diferencia: Permite que la estrategia del robot se adapte a las características físicas del mundo real, logrando finalmente un mayor rendimiento del movimiento.
Verificación experimental del marco ASAP:
En la transferencia entre simuladores, ASAP puede reducir significativamente el error de seguimiento del movimiento, superando a otros métodos de referencia.
En las pruebas con robots reales, ASAP también puede mejorar significativamente el rendimiento del movimiento del robot, permitiendo que el robot realice movimientos ágiles de alta dificultad.
Este estudio también explora en profundidad los factores clave para entrenar el modelo de movimiento de diferencia, incluyendo el tamaño del conjunto de datos, la duración del entrenamiento y el peso de la norma de acción. Además, los investigadores compararon diferentes estrategias de uso del modelo de movimiento de diferencia, confirmando finalmente que el método de ajuste fino de aprendizaje por refuerzo puede lograr el mejor rendimiento.
Aunque el marco ASAP ha logrado avances notables, todavía presenta algunas limitaciones, como las limitaciones de hardware, la dependencia de los sistemas de captura de movimiento y la gran demanda de datos. Las futuras líneas de investigación podrían incluir el desarrollo de arquitecturas de estrategias capaces de percibir daños en el hardware, la utilización de la estimación de postura sin etiquetas o la fusión de sensores a bordo para reducir la dependencia de los sistemas de captura de movimiento, y la exploración de técnicas de adaptación de modelos de movimiento de diferencia más eficientes.
La aparición del marco ASAP ha traído nuevas esperanzas al campo de la robótica humanoide. Al resolver ingeniosamente el problema de las diferencias dinámicas entre la simulación y la realidad, ASAP permite a los robots humanoides dominar habilidades de movimiento más ágiles y coordinadas, sentando una base sólida para la amplia aplicación futura de los robots humanoides en el mundo real.
Dirección del proyecto: https://agile.human2humanoid.com/
Dirección del artículo: https://arxiv.org/pdf/2502.01143
