5G NR에서 동적 eMBB/URLLC 다중화에 대한 딥 강화 학습 기반 접근법

이 기사는 5G NR에서 동일한 채널에서 향상된 모바일 브로드밴드(eMBB) 및 초신뢰 저지연 통신(URLLC)의 동적 다중화를 조사합니다. 전송 시간 규모의 현저한 차이로 인해 URLLC는 트래픽을 eMBB 트래픽에 다중화하여 전송하기 위해 선점형 펑크처링 기술을 사용합니다. 해결해야 할 최적화 문제는 이러한 선점형 펑크처링이 eMBB 사용자에게 미치는 부정적인 영향을 최소화하는 것입니다. 우리는 이 문제에 대한 모델 프리 딥 강화 학습(DRL) 기반 솔루션인 DEMUX를 제시합니다. DEMUX의 본질은 심층 함수 근사기(신경망)를 사용하여 각 eMBB 전송 시간 간격(TTI)에서 선점 솔루션을 결정하는 최적 알고리즘을 학습하는 것입니다. DEMUX 설계에서 우리의 새로운 기여에는 NR의 자원 스케줄링을 위한 대규모 및 연속적인 행동 도메인에서 DRL 방법의 최초 사용, 문제의 고유한 특성을 활용하여 빠르고 안정적인 학습 수렴을 보장하는 메커니즘, 정보 손실을 최소화하면서 신경망의 비제약 출력을 통해 실행 가능한 선점 솔루션을 얻는 메커니즘이 포함됩니다. 실험 결과는 DEMUX가 3GPP 표준 기구와 문헌에서 제안된 최신 알고리즘을 상당히 능가함을 보여줍니다.