Aprendizado por Reforço Multi-Agente em Redes de UAV Assistidas por NOMA para Descarregamento Celular

Um novo framework é proposto para descarregamento celular com a ajuda de múltiplos veículos aéreos não tripulados (UAVs), enquanto a técnica de acesso múltiplo não ortogonal (NOMA) é empregada em cada UAV para melhorar ainda mais a eficiência espectral da rede sem fio. O problema de otimização do design conjunto de trajetória tridimensional (3D) e alocação de potência é formulado para maximizar a taxa de transferência. Como os usuários móveis em solo são considerados como se deslocando continuamente, os UAVs precisam ser reimplantados de forma oportuna com base no movimento dos usuários. Em um esforço para resolver esse problema dinâmico pertinente, um algoritmo de agrupamento baseado em K-means é primeiro adotado para particionar periodicamente os usuários. Depois, um algoritmo de rede Q profunda mútua (MDQN) é proposto para determinar conjuntamente a trajetória 3D ideal e a alocação de potência dos UAVs. Em contraste com o algoritmo convencional de rede Q profunda (DQN), o algoritmo MDQN permite que a experiência de múltiplos agentes seja inserida em uma rede neural compartilhada para reduzir o tempo de treinamento com a ajuda da abstração de estado. Resultados numéricos demonstram que: 1) o algoritmo MDQN proposto é capaz de convergir sob restrições menores e tem uma taxa de convergência mais rápida do que o algoritmo DQN convencional no caso de múltiplos agentes; 2) A taxa de soma alcançada da rede UAV aprimorada por NOMA é 23% superior ao caso de acesso múltiplo ortogonal (OMA); 3) Ao projetar a trajetória 3D ideal dos UAVs com o algoritmo MDON, a taxa de soma da rede desfruta de ganhos de 142% e 56% em comparação com a trajetória circular e a trajetória 2D, respectivamente.