Planificación dinámica Q para planificación de trayectorias de UAV en entornos desconocidos y complejos

Resumen Los vehículos aéreos no tripulados necesitan una capacidad de planificación de trayectorias en línea para moverse en misiones de alto riesgo en entornos desconocidos y complejos y completarlas de manera segura. Sin embargo, muchos algoritmos reportedados en la literatura pueden no devolver trayectorias confiables para resolver problemas en línea en estos escenarios. El algoritmo de Q-Learning, una técnica de Aprendizaje por Refuerzo, puede generar trayectorias en tiempo real y ha demostrado resultados rápidos y confiables. Esta técnica, sin embargo, tiene la desventaja de definir el número de iteraciones. Si este valor no está bien definido, tomará mucho tiempo o no devolverá una trayectoria óptima. Por lo tanto, proponemos un método para elegir dinámicamente el número de iteraciones para obtener el mejor rendimiento de Q-Learning. El método propuesto se compara con el algoritmo de Q-Learning con un número fijo de iteraciones, A*, Rapid-Exploring Random Tree y Particle Swarm Optimization. Como resultado, el algoritmo de Q-learning propuesto demuestra la eficacia y confiabilidad de la planificación de trayectorias en línea con un número dinámico de iteraciones para llevar a cabo misiones en línea en entornos desconocidos y complejos.