Técnicas de Aprendizaje Profundo por Refuerzo para la descarga dinámica de tareas en el continuo de la nube perimetral 5G

Resumen La integración de nuevas aplicaciones y servicios del Internet de las Cosas (IoT) depende en gran medida de la descarga de tareas a dispositivos externos debido a los recursos limitados de computación y batería de los dispositivos IoT. Hasta ahora, el paradigma de Computación en la Nube (CC) ha sido un buen enfoque para tareas donde la latencia no es crítica, pero no es útil cuando la latencia es importante, por lo que la Computación en el Borde de Múltiples Accesos (MEC) puede ser útil. En este trabajo, proponemos una herramienta distribuida de Aprendizaje Profundo por Refuerzo (DRL) para optimizar la decisión de descarga de tareas binarias, es decir, la decisión independiente de dónde ejecutar cada tarea de cómputo, dependiendo de muchos factores. El objetivo de optimización en este trabajo es maximizar la Calidad de la Experiencia (QoE) al realizar tareas, que se define como una métrica relacionada con el nivel de batería del UE, pero sujeta a satisfacer los requisitos de latencia de las tareas. Este enfoque distribuido de DRL, específicamente un algoritmo Actor-Crítico (AC) que se ejecuta en cada Equipo de Usuario (UE), se evalúa mediante la simulación de dos escenarios distintos y supera a otras líneas base analizadas en términos de valores de QoE y/o consumo de energía en entornos dinámicos, demostrando también que las decisiones deben adaptarse a la evolución del entorno.