지연 민감 무선 통신을 위한 공동 물리 계층 및 시스템 수준 전력 관리

우리는 페이딩 채널을 통해 지연 민감 데이터(예: 멀티미디어 데이터)의 에너지 효율적인 포인트 투 포인트 전송 문제를 고려합니다. 이 주제에 대한 기존 연구는 물리 계층 중심 솔루션인 전력 제어 및 적응 변조 및 부호화(AMC) 또는 동적 전력 관리(DPM) 기반 시스템 수준 솔루션을 활용하고 있습니다. 그러나 현재 랜덤하고 사전 알 수 없는 트래픽 및 채널 조건 하에 지연 제약을 준수하면서 최소한의 에너지 소비를 달성하기 위해 물리 계층 중심과 시스템 수준 기술을 동시에 활용하는 엄격하고 통합된 프레임워크는 없습니다. 본 논문에서는 이러한 프레임워크를 제안합니다. 우리는 확률 최적화 문제를 마르코프 결정 과정(MDP)으로 공식화하고 강화 학습(RL)을 사용하여 온라인에서 해결합니다. 제안된 온라인 방법의 장점은 1) 특정 최적의 전력 제어, AMC 및 DPM 정책을 결정하기 위해 트래픽 도착 및 채널 통계에 대한 사전 지식이 필요하지 않다는 것입니다; 2) 시스템에 대한 부분 정보를 활용하여 기존 강화 학습 알고리즘을 사용할 때보다 적은 정보를 배워야 한다는 것입니다; 3) 행동 탐색이 필요하지 않아 기존 강화 학습 알고리즘의 적응 속도 및 실행 성능을 제한하는 문제가 해소됩니다. 우리의 결과는 제안된 학습 알고리즘이 물리 계층 전력 제어를 위한 최첨단 학습 알고리즘보다 최대 두 배 빠르게 수렴할 수 있으며, 기존 강화 학습 알고리즘보다 최대 세 배 빠르게 수렴할 수 있음을 보여줍니다.