Un esquema de descarga basado en aprendizaje profundo por refuerzo en nubes móviles ad-hoc

En este artículo, consideramos el problema de tomar una decisión óptima de descarga para un usuario móvil en una nube móvil ad-hoc en la que el usuario móvil puede descargar sus tareas de computación a nubes móviles cercanas a través de una red celular habilitada para comunicación dispositivo a dispositivo (D2D). Proponemos un esquema de descarga basado en aprendizaje profundo por refuerzo (DRL) que permite al usuario tomar decisiones de descarga casi óptimas, teniendo en cuenta las incertidumbres de los movimientos del usuario y las nubes móviles, así como la disponibilidad de recursos de las nubes. Primero proponemos una formulación del problema de descarga basada en un proceso de decisión de Markov (MDP) que considera los estados compuestos de los estados de cola del usuario y las nubes, y los estados de distancia entre el usuario y las nubes como el espacio de estado del sistema. El objetivo del problema formulado basado en MDP es determinar las acciones óptimas sobre cuántas tareas el usuario debe procesar localmente y cuántas tareas descargar a cada nube en cada estado del sistema observado, de tal manera que se maximice la utilidad del usuario obtenida por la ejecución de tareas, minimizando el consumo de energía, el retraso en el procesamiento de tareas, la probabilidad de pérdida de tareas y el pago requerido. Luego, utilizamos un esquema de aprendizaje profundo por refuerzo, llamado red Q profunda (DQN), para aprender una solución eficiente para el problema de descarga propuesto basado en MDP. Se realizaron simulaciones extensivas para evaluar el rendimiento del esquema de descarga propuesto. Los resultados de las simulaciones validan la efectividad de las políticas de descarga obtenidas por el esquema propuesto.