우리는 소스, 샘플러, 송신기 및 모니터를 갖춘 상태 업데이트 시스템을 연구합니다. 소스는 모니터가 적시에 관찰하고자 하는 확률 과정을 지배합니다. 이를 달성하기 위해 샘플러는 송신기가 오류가 발생하기 쉬운 통신 채널을 통해 모니터에 전송하는 신선한 업데이트 패킷을 샘플링합니다. 송신기는 제약 없이 전송할 수 있으며, 즉 업데이트 패킷이 송신기에게 제공될 때마다 전송할 수 있습니다. 그러나 샘플러는 샘플링 속도 제약을 받아야 합니다. 샘플러의 목표는 모니터의 나이를 최소화하면서 자원 제약을 충족하는 최적의 정책을 고안하는 것입니다. 우리는 이 문제를 제약이 있는 마르코프 의사결정 과정(CMDP)으로 공식화합니다. 우리는 최적의 정책의 여러 구조를 발견합니다. 우리는 최적의 구조를 활용하여 나이를 제한하는 복잡한 반복 기법이나 방법을 사용하지 않고 명시적으로 낮은 복잡도의 최적 정책을 찾습니다.
Banerjee et al. (Tue,)은 이 질문을 연구했습니다.