Cuando el Aprendizaje se Une al Borde: Descarga de Cálculo Proporcional en Tiempo Real a través del Aprendizaje por Refuerzo Profundo

La descarga de cálculo tiene sentido en la interacción entre usuarios y aplicaciones intensivas en cómputo. Las investigaciones actuales se han centrado en decidir si ejecutar una aplicación de forma local o remota, pero han ignorado la proporción específica de descarga de la aplicación. Una descarga completa no puede hacer el mejor uso de los recursos del cliente y del servidor. En este artículo, proponemos un método innovador de aprendizaje por refuerzo (RL) para resolver el problema de cálculo proporcional. Consideramos un escenario de descarga común con ancho de banda variable en el tiempo y dispositivos heterogéneos, y el dispositivo genera aplicaciones de forma constante. Para cada aplicación, el cliente debe elegir ejecutar esta aplicación de forma local o remota y determinar la proporción que se descargará. Formalizamos el problema como un problema de optimización a largo plazo y luego proponemos un algoritmo basado en RL para resolverlo. La idea básica es estimar el beneficio de decisiones posibles, de las cuales se selecciona la decisión con el máximo beneficio. En lugar de adoptar la Red de Q Profunda (DQN) original, proponemos DQN Avanzado (ADQN) añadiendo un Mecanismo de Buffer de Prioridad y un Mecanismo de Buffer de Expertos, que mejora la utilización de muestras y supera el problema del arranque en frío, respectivamente. Los resultados experimentales muestran la alta viabilidad y eficiencia de ADQN en comparación con varias políticas tradicionales, como la Política de Ninguna Descarga, Política de Descarga Aleatoria, Política Óptima de Capacidad de Enlace y Política Óptima de Capacidad de Cómputo. Por último, analizamos el efecto del tamaño del buffer de expertos y la tasa de aprendizaje en el rendimiento de ADQN.