심층 강화 학습을 활용한 UAV 지원 MEC 네트워크의 에너지 소비 모델링 및 최적화

무인 항공기(UAV) 지원 다중 접근 엣지 컴퓨팅(MEC) 기술은 상당한 주목을 받았으며 특정 시나리오에서 성공적으로 구현되었습니다. UAV의 제한된 에너지 용량으로 인해 관련 시나리오에서 네트워크 에너지 소비의 최적화는 전체 시스템 성능에 필수적입니다. 그러나 MEC 네트워크 자원의 동적 변화는 에너지 소비 최적화를 도전적으로 만듭니다. 이 기사에서는 시스템 에너지 소비를 평가하기 위해 다중 UAV-다중 사용자 MEC 모델을 설정하고, 모델을 기반으로 다중 UAV 협력 전략의 최적화 문제를 공식화합니다. 이후 심층 강화 학습(DRL)을 기반으로 한 다중 에이전트 심층 결정 정책 그래디언트(MADDPG) 알고리즘을 사용하여 위의 최적화 문제를 해결합니다. 각 UAV는 다른 에이전트와 협력하여 배우 및 비평가 평가 네트워크를 훈련시켜 협력적 의사 결정을 수행하는 단일 에이전트와 같습니다. 또한, 우선 경험 재생(PER) 방식이 훈련 과정의 수렴성을 개선하는 데 사용됩니다. 시뮬레이션 결과는 서로 다른 알고리즘의 성능을 비교하여 다양한 네트워크 자원의 변화가 네트워크 에너지 소비에 미치는 영향을 보여줍니다. 이 기사에서 제시된 결과는 특히 에너지 효율성 측면에서 시스템 성능 최적화에 대한 향후 연구의 귀중한 참고자료로 활용될 수 있습니다.