Planejamento Óptimo de Trajetória e Evitação de Colisão Baseados em Aprendizado por Reforço em Redes de Comunicação de UAVs

Neste artigo, propomos uma abordagem de aprendizado por reforço para a evitação de colisões e investigamos o planejamento ótimo de trajetória para redes de comunicação de veículos aéreos não tripulados (UAV). Especificamente, cada UAV fica responsável por entregar objetos no caminho de ida e coletar dados de dispositivos IoT terrestres heterogêneos no caminho de volta. Adotamos o aprendizado por reforço para auxiliar os UAVs a aprenderem a evitar colisões sem conhecer as trajetórias de outros UAVs com antecedência. Além disso, para cada UAV, utilizamos a teoria de otimização para descobrir o caminho de volta mais curto que assegure a coleta de dados de todos os dispositivos IoT associados. Para obter uma ordem de visitação ótima para os dispositivos IoT, formulamos e resolvemos um problema de vendedor viajante sem retorno. Dada uma ordem de visitação, formulamos e resolvemos uma sequência de problemas de otimização convexa para obter segmentos de linha de um caminho de volta ótimo para dispositivos IoT terrestres heterogêneos. Usamos resultados analíticos e de simulação para justificar o uso da abordagem proposta. Os resultados da simulação mostram que a abordagem proposta é superior a várias alternativas.