Aprendizaje por refuerzo profundo con gráficos dinámicos para la planificación de rutas informativas adaptativas

Los robots autónomos se utilizan a menudo para la recolección de datos debido a su eficiencia y bajos costos laborales. Una tarea clave en la adquisición de datos robóticos es planificar rutas a través de un entorno inicialmente desconocido para recopilar observaciones, dados los recursos específicos de la plataforma, como una vida útil de batería limitada. La planificación de rutas en línea adaptativa en entornos 3D es un desafío debido al gran conjunto de acciones válidas y la presencia de oclusiones desconocidas. Para abordar estos problemas, proponemos un nuevo enfoque de aprendizaje por refuerzo profundo para replantear de manera adaptativa las rutas de los robots para mapear objetivos de interés en entornos 3D desconocidos. Un aspecto clave de nuestro enfoque es un gráfico construido dinámicamente que restringe las acciones de planificación localmente al robot, lo que nos permite reaccionar ante obstáculos estáticos recién descubiertos y objetivos de interés. Para el replanteamiento, proponemos una nueva función de recompensa que equilibra la exploración del entorno desconocido y la explotación de objetivos de interés descubiertos en línea. Nuestros experimentos muestran que nuestro método permite un descubrimiento de objetivos más eficiente en comparación con las líneas base de aprendizaje y no aprendizaje de última generación. También mostramos nuestro enfoque para el monitoreo de huertos utilizando un vehículo aéreo no tripulado en un simulador fotorrealista.