Aprendizado por Reforço para Design de Trajetória Descentralizada em Redes Celulares de UAVs com Protocolo de Sensoriamento e Envio

Recentemente, os veículos aéreos não tripulados (UAVs) têm sido amplamente utilizados em aplicações de sensoriamento em tempo real sobre redes celulares. O desempenho de um UAV é determinado tanto por seus processos de sensoriamento quanto de transmissão, que são influenciados pela trajetória do UAV. No entanto, é desafiador para o UAV determinar sua trajetória, uma vez que opera em um ambiente dinâmico, onde outros UAVs determinam suas trajetórias de forma dinâmica e competem pelos recursos espectrais limitados ao mesmo tempo. Para enfrentar esse desafio, adotamos o aprendizado por reforço para resolver o problema de design de trajetória do UAV de uma maneira descentralizada. Para coordenar vários UAVs realizando tarefas de sensoriamento em tempo real, primeiro propomos um protocolo de sensoriamento e envio e analisamos a probabilidade de transmissão de dados válidos e bem-sucedidos usando cadeias de Markov aninhadas. Em seguida, propomos um algoritmo aprimorado de Q-learning multi-UAV para resolver o problema de design de trajetória descentralizado do UAV. Resultados de simulação mostram que o algoritmo proposto converge mais rapidamente e alcança utilidades mais altas para os UAVs, em comparação com algoritmos tradicionais de Q-learning de agente único e múltiplos agentes.