Aprendizaje de locomoción bípeda basada en visión para terrenos desafiantes

El aprendizaje por refuerzo (RL) para la locomoción bípeda ha demostrado recientemente marchas robustas sobre terrenos moderados utilizando solo percepción proprioceptiva. Sin embargo, tales controladores ciegos fallarán en entornos donde los robots deben anticipar y adaptarse al terreno local, lo que requiere percepción visual. En este documento, proponemos un sistema completamente aprendido que permite a los robots bípedos reaccionar al terreno local mientras mantienen la velocidad y dirección de viaje comandadas. Nuestro enfoque entrena primero un controlador en simulación usando un mapa de alturas expresado en el marco local del robot. A continuación, se recopilan datos en simulación para entrenar un predictor de mapas de alturas, cuya entrada es la historia de imágenes de profundidad y estados del robot. Demostramos que con una aleatorización de dominio apropiada, este enfoque permite una transferencia exitosa de simulación a la realidad sin estimación explícita de pose y sin ajuste fino usando datos del mundo real. Hasta donde sabemos, este es el primer ejemplo de aprendizaje de simulación a realidad para locomoción bípeda basada en visión sobre terrenos desafiantes.