Um esquema de descarregamento baseado em aprendizado por reforço profundo em nuvens móveis ad-hoc

Neste artigo, consideramos o problema de tomar uma decisão de descarregamento óptima para um usuário móvel em uma nuvem móvel ad-hoc, na qual o usuário móvel pode descarregar suas tarefas de computação para cloudlets móveis próximos via uma rede celular habilitada para comunicação de dispositivo para dispositivo (D2D). Propomos um esquema de descarregamento baseado em aprendizado por reforço profundo (DRL) que permite ao usuário tomar decisões de descarregamento quase ótimas, levando em consideração as incertezas dos movimentos do usuário e dos cloudlets, além da disponibilidade de recursos dos cloudlets. Primeiro, propomos uma formulação do problema de descarregamento baseada em processo de decisão de Markov (MDP) que considera os estados compostos das filas do usuário e dos cloudlets e os estados de distância entre o usuário e os cloudlets como o espaço de estados do sistema. O objetivo do problema formulado baseado em MDP é determinar as ações ótimas sobre quantas tarefas o usuário deve processar localmente e quantas tarefas descarregar para cada cloudlet em cada estado do sistema observado, de forma a maximizar a utilidade do usuário obtida pela execução das tarefas, ao mesmo tempo minimizando o consumo de energia, a latência no processamento das tarefas, a probabilidade de perda das tarefas e o pagamento requerido. Em seguida, usamos um esquema de aprendizado por reforço profundo, chamado rede Q profunda (DQN), para aprender uma solução eficiente para o problema de descarregamento baseado em MDP proposto. Simulações extensivas foram realizadas para avaliar o desempenho do esquema de descarregamento proposto. Os resultados da simulação validam a eficácia das políticas de descarregamento obtidas pelo esquema proposto.