Aprimorando a Recunoissance e Busca Multi-UAV Através do DDPG de Crítico Duplo Com Mapas de Probabilidade de Crença

Veículos Aéreos Não Tripulados (UAVs) recentemente atraíram atenção significativa devido às suas potenciais aplicações em reconhecimento e busca. Este artigo tem como objetivo investigar a questão da recunoissance e busca cooperativa multi-UAV (MCRS) para garantir ampla cobertura da área da missão e localização precisa de alvos estáticos. O problema MCRS é modelado como um problema de otimização multiobjetivo, levando em consideração a credibilidade dos resultados da busca. Para alcançar isso, projetamos um mapa de probabilidade de crença baseado na teoria da evidência de Dempster-Shafer (DS), que compreende um mapa de incerteza e dois mapas de alvos. Essa representação permite uma clara representação tanto da presença do alvo quanto da incerteza dentro do mapa. Subsequentemente, reformulamos este problema de otimização multiobjetivo dentro da estrutura do Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP). Para abordar essa reformulação, uma nova abordagem de aprendizado por reforço profundo chamada Gradient de Política Determinística de Crítico Duplo (DCDDPG) é proposta. Especificamente, introduzimos tanto um crítico centralizado quanto um crítico local para cada agente UAV para estimar a função de valor da ação. Essa abordagem ajuda a equilibrar o viés na estimativa da função de valor da ação e a variância nas atualizações da política, melhorando assim o efeito de coordenação. Resultados de simulação extensiva demonstram que DCDDPG supera as técnicas existentes em termos de eficiência de busca e cobertura.