Aprendizado por reforço DDPG baseado em gêmeo digital para maximização da taxa de soma das comunicações AI-UAV

Resumo A construção de infraestrutura wireless usando veículo aéreo não tripulado (UAV) pode efetivamente expandir a cobertura e suportar tráfego de alta densidade dos sistemas de comunicação de próxima geração. Projetar sistemas wireless que incluam UAVs como estações base aéreas (ABSs) é uma tarefa desafiadora, devido à mobilidade das ABSs causando a natureza variável ao longo do tempo dos arredores ambientais e dos caminhos de propagação relativos aos dispositivos de equipamento do usuário (UE). Portanto, é essencial ter uma estimativa precisa do canal para o posicionamento variável dos UAVs. Neste artigo, propomos adotar um procedimento de avaliação de desempenho baseado em gêmeo digital para sistemas wireless que incluem ABSs, proporcionando maior precisão na modelagem dos canais para áreas de implantação específicas. Usando modelos de canais de ray-tracing que refletem informações detalhadas de edifícios e terrenos do ambiente de transmissão, apresentamos um algoritmo de otimização de posição de UAV baseado em aprendizado por reforço. Ao utilizar o gradiente de política determinística profunda (DDPG), o algoritmo proposto calcula a taxa de transferência total no gêmeo digital e determina os estados desejados do UAV. Os resultados da avaliação de desempenho demonstram a capacidade de treinamento de trajetória do algoritmo e a vantagem de desempenho do sistema com uma quantidade reduzida de área de sombra em comparação com aqueles com estações base em solo (GBSs).