基于深度强化学习的蜂窝连接无人机3D轨迹规划

为了解决基于二维（2D）轨迹规划的连接保障所涉及的有限应用场景问题，本文提出了一种改进的基于深度强化学习（DRL）的三维（3D）轨迹规划方法，旨在用于蜂窝无人机（UAV）通信。通过考虑3D空间环境，并整合无人机任务完成时间和连接性等因素，我们开发了一个路径优化的目标函数，并采用先进的对抗双深度Q网络（D3QN）进行优化。此外，我们引入了优先经验回放（PER）机制，以提高学习效率并加快收敛速度。为了进一步辅助轨迹规划，我们的方法结合了同时导航和无线电映射（SNARM）框架，该框架通过利用无人机在飞行过程中测量信号生成模拟的3D无线电图，从而降低实际飞行成本。仿真结果表明，所提方法有效地使无人机能够避免空间中的弱覆盖区域，从而减少飞行时间和预期中断时间的加权和。