Navegación descentralizada con aprendizaje por refuerzo federado heterogéneo para computación en la nube móvil habilitada por UAV

La computación en la nube móvil habilitada por Vehículos Aéreos No Tripulados (UAV) se ha propuesto como una solución eficiente para la descarga de tareas en equipos de usuario (UEs). Sin embargo, la presencia de UAV heterogéneos hace que las políticas de navegación centralizadas sean poco prácticas. Las políticas de navegación descentralizadas también enfrentan desafíos significativos en el intercambio de conocimientos entre UAV heterogéneos. Para abordar esto, presentamos la red de aprendizaje por refuerzo profundo jerárquica suave (SHDRLN) y el aprendizaje por refuerzo federado de doble extremo (DFRL) como una solución de política de navegación descentralizada. Mejora la eficiencia energética general de la descarga de tareas para los UAV mientras facilita el intercambio de conocimientos. Específicamente, SHDRLN, una red DRL jerárquica basada en el aprendizaje de máxima entropía, reduce las diferencias de políticas entre UAV al abstraer acciones atómicas en habilidades genéricas. Al mismo tiempo, maximiza la eficiencia promedio de todos los UAV, optimizando la cobertura para los UEs y minimizando el tiempo de espera para la descarga de tareas. DFRL, un algoritmo de aprendizaje federado (FL), agrega el conocimiento de políticas en el servidor en la nube y lo filtra en el extremo del UAV, permitiendo el aprendizaje adaptativo del conocimiento de políticas de navegación adecuado para los parámetros de rendimiento del UAV. Simulaciones extensas demuestran que la solución propuesta no solo supera a otros algoritmos de referencia en eficiencia energética general, sino que también logra un aprendizaje de política de navegación más estable bajo diferentes niveles de heterogeneidad de los parámetros de rendimiento de diferentes UAV.