Uma Nova Otimização de Utilidade Baseada em DRL Conjunta para Serviços de Dados de UAV

Neste artigo, propomos uma nova solução conjunta baseada em aprendizado por reforço profundo (DRL) para otimizar a utilidade de uma rede de comunicação assistida por veículo aéreo não tripulado (UAV). Para maximizar o número de usuários atendidos dentro das restrições da largura de banda limitada e recursos de potência do UAV, empregamos algoritmos de Deep Q-Networks (DQN) e gradiente de política determinística profunda (DDPG) para alocação ótima de recursos para usuários terrestres com demandas de taxa de dados heterogêneas. O algoritmo DQN aloca dinamicamente múltiplos blocos de recursos de largura de banda para diferentes usuários com base na demanda atual e estados de recursos disponíveis. Simultaneamente, o algoritmo DDPG gerencia a alocação de potência, ajustando continuamente os níveis de potência para se adaptar a distâncias variáveis e condições de desvanecimento, incluindo desvanecimento Rayleigh para links fora da linha de visão (NLoS) e desvanecimento Rician para links na linha de visão (LoS). Nossa solução conjunta baseada em DRL demonstra um aumento de até 41% no número de usuários atendidos em comparação com cenários com alocação igual de largura de banda e potência.