RDRL: 재구성 가능한 무선 네트워크에서 동적 스펙트럼 접근을 위한 반복 심층 강화 학습 계획

재구성 가능한 무선 네트워크는 유연하게 효율적인 스펙트럼 접근 서비스를 제공하고 고도로 동적인 환경에서 안정적인 운영을 유지할 수 있습니다. 본 논문에서는 인지 라디오(CR) 기술에 기반한 동적 스펙트럼 접근을 위한 기본 우선 반복 심층 강화 학습 알고리즘을 제안합니다. 스펙트럼 마르코프 상태는 기본 사용자와 보조 사용자의 우선 순위 대기열을 달성하기 위해 진화 행동을 포착하도록 모델링됩니다. 다양한 최적 기준 하에서 보조 사용자의 스펙트럼 접근 전략에 따라, 우리는 스펙트럼 접근 공정성과 스루풋 간의 최상의 균형 이점을 얻을 수 있습니다. 또한, 우리는 보조 사용자가 매개변수를 수정하여 네트워크 스루풋 활용을 극대화하기 위한 최적의 접근 정책을 선택할 수 있도록 하는 동적 스펙트럼 접근을 위한 학습 기반 알고리즘을 제안했습니다. 우선 경험 재생과 반복 신경망을 결합한 경쟁 심층 Q-네트워크 (Dueling DQN)를 사용하여 수렴 속도를 향상시킵니다. 광범위한 실험 결과는 제안된 RDRL 계획이 수렴 속도 및 채널 스루풋 측면에서 기존의 Dueling DQN 및 DQN 계획보다 우수함을 입증합니다.