하이브리드 엣지 컴퓨팅 네트워크를 위한 크로스 도메인 자원 최적화: 연합 DRL 접근법

서비스 요청의 동적 특성과 차량 인터넷(IoV)에서의 서비스 불균형 분포로 인해, 사전 설치된 서버가 있는 다중 액세스 에지 컴퓨팅(MEC) 네트워크는 특정 시간이나 특정 지역에서 컴퓨팅 파워가 부족할 때 취약할 수 있습니다. 또한, 차량 사용자(VU)는 중앙 집중식 신경망 학습을 위해 자신의 관찰을 공유해야 하므로 추가적인 통신 오버헤드가 발생합니다. 본 논문에서는 고정된 도로변 장치(RSU)와 모바일 엣지 서버(MES)가 협력하여 VU에게 컴퓨테이션 오프로드 서비스를 제공하는 하이브리드 MEC 서버 아키텍처를 제안합니다. 우리는 서비스 대기 시간과 에너지 소비의 가중 합을 최소화하는 것을 목표로 한 분산 연합 학습 및 심층 강화 학습(DRL) 기반 알고리즘인 연합 듀얼 더블 딥 Q-네트워크(FD3QN)를 제안합니다. 수평 연합 학습이 듀얼 더블 딥 Q-네트워크(D3QN)에 통합되어 오프로드 결정 프로세스 후에 크로스 도메인 자원이 할당됩니다. 연합 집계를 사용하는 클라이언트-서버 프레임워크가 글로벌 모델을 유지하는 데 사용됩니다. 제안된 FD3QN 알고리즘은 전력, 서브밴드 및 컴퓨팅 자원을 공동으로 최적화할 수 있습니다. 시뮬레이션 결과는 제안된 알고리즘이 시스템 비용 측면에서 기준선보다 우수하며 불확실한 IoV 환경에서 더 나은 강 robustness을 보여줍니다.