Planejamento de Rota e Rastreamento Baseado em Aprendizado de Reforço com Multithreading Assíncrono para Veículo Subaquático Não Tripulado

O veículo subaquático não tripulado (UUV) é amplamente utilizado em várias operações marinhas, nas quais o planejamento de rota e o rastreamento de trajetória são as tecnologias críticas para alcançar o planejamento de movimento autônomo. Diferentemente dos métodos de pesquisa anteriores, este artigo propõe os algoritmos de planejamento de rota baseado em otimização de política proximal com multithreading assíncrono (AMPPO-PP) e de rastreamento de trajetória (AMPPO-TT) e aplica esses dois métodos a diferentes cenários de tarefas dos UUVs. Aproveitando o AMPPO, o caro procedimento computacional online é convertido em um processo de treinamento offline. Os algoritmos propostos permitem que o UUV aprenda planejamento autônomo, rastreamento e evasão de obstáculos em situações de emergência. Além disso, a arquitetura do algoritmo do AMPPO-PP e do AMPPO-TT é descrita em detalhes. Refinando a recompensa em cada intervalo de tempo e utilizando o truque de modelagem de recompensa, a escassez de recompensa é evitada. A função de recompensa heurística de distância ao objetivo é utilizada para fazer o UUV explorar de forma mais direcional. Vários ambientes de simulação são desenvolvidos, do simples ao complexo, junto com múltiplos experimentos comparativos para verificar a eficácia dos algoritmos propostos.