Imitación de captura de movimiento basada en física con aprendizaje profundo por refuerzo

Introducimos un método de aprendizaje profundo por refuerzo que aprende a controlar cuerpos humanoides articulados para imitar de cerca los movimientos objetivo dados cuando se simulan en un simulador físico. El movimiento objetivo, que puede no haber sido visto por el agente y puede ser ruidoso, se suministra en tiempo real. Nuestro método puede recuperar el equilibrio de perturbaciones externas moderadas y seguir imitando el movimiento objetivo. Cuando se expone a grandes perturbaciones que provocan que el humanoide caiga, nuestro método puede controlar al personaje para que se levante y recupere el seguimiento del movimiento. Nuestro método se entrena para imitar los clips de captura de movimiento de la base de datos de captura de movimiento de CMU y una serie de otras bases de datos disponibles públicamente. Usamos un algoritmo de aprendizaje profundo por refuerzo de última generación para aprender a controlar dinámicamente la ganancia de controladores PD, cuyas ángulos objetivo se derivan del clip de captura de movimiento y aplicar torques correctivos con el objetivo de imitar el clip de movimiento proporcionado lo más cerca posible. Tanto la simulación como los algoritmos de aprendizaje se paralelizan y se ejecutan en la GPU. Demostramos que el método propuesto puede controlar al personaje para imitar una amplia variedad de movimientos como correr, caminar, bailar, saltar, patear, golpear, levantarse, y así sucesivamente.