深層強化学習を用いたマルチUAVエネルギー消費最小化：情報の時代アプローチ

本書では、災害環境における情報の時代（AoI）を最適化することに焦点を当て、深層強化学習（DRL）を使用してマルチUAV（無人航空機）ネットワークのエネルギー消費を最小化する革新的なアプローチを紹介します。我々は、エネルギー消費を最小限に抑えつつ、適時のデータ収集と伝送を保証する協調的軌道計画を促進する階層的UAV展開戦略を提案します。UAV間ネットワークの経路計画問題をマルコフ決定過程（MDP）として定式化し、動的な環境変化、障害物、UAVのバッテリー制約を考慮したリアルタイムの意思決定を可能にするために、深層Qネットワーク（DQN）戦略を適用します。地方および都市のシナリオで行った広範なシミュレーション結果は、DQNフレームワーク内でのメモリアクセスアプローチを使用することの効果を示しており、非メモリアプローチと比較して地方で33.25\%、都市環境で74.20\%までエネルギー消費を大幅に削減します。エネルギー効率的なUAV制御とAoI考慮を統合することで、本研究は、地上通信インフラが損なわれている災害対応などの重要なアプリケーションにおいて、新鮮なデータを維持するための堅牢な解決策を提供します。リプレイメモリアプローチ、特にオンライン履歴アプローチの使用は、変化する条件に適応し、データの新鮮さとエネルギー消費の最適化のためにUAV操作を最適化する上で重要であることが証明されています。