Aprendizaje por refuerzo inverso para navegación autónoma a través de mapeo y planificación semántica diferenciable

Resumen Este artículo se centra en el aprendizaje por refuerzo inverso para navegación autónoma utilizando observaciones de distancia y categorías semánticas. El objetivo es inferir una función de costo que explique el comportamiento demostrado mientras se basa únicamente en las observaciones del experto y la trayectoria de control del estado. Desarrollamos un codificador de mapas, que infiere probabilidades de categoría semántica a partir de la secuencia de observaciones, y un codificador de costos, definido como una red neuronal profunda sobre las características semánticas. Dado que el costo del experto no es directamente observable, los parámetros del modelo solo se pueden optimizar diferenciando el error entre los controles demostrados y una política de control calculada a partir de la estimación de costos. Proponemos un nuevo modelo de comportamiento del experto que permite la minimización del error utilizando un subgradiente en forma cerrada calculado solo sobre un subconjunto de estados prometedores a través de un algoritmo de planificación de movimiento. Nuestro enfoque permite generalizar el comportamiento aprendido a nuevos entornos con nuevas configuraciones espaciales de las categorías semánticas. Analizamos los diferentes componentes de nuestro modelo en un entorno de minigrid. También demostramos que nuestro enfoque aprende a seguir las reglas de tráfico en el simulador de conducción autónoma CARLA al confiar en observaciones semánticas de edificios, aceras y carriles de carretera.