딥 강화 학습 기반의 엣지 컴퓨팅을 위한 의존 작업 오프로드

엣지 컴퓨팅은 계산 및 저장 자원을 네트워크 엣지로 끌어들여 서비스 지연 및 네트워크 트래픽을 상당히 줄이는 유망한 새로운 컴퓨팅 패러다임입니다. 엣지 컴퓨팅에서는 많은 애플리케이션이 일부 작업의 출력이 다른 작업의 입력이 되는 의존 작업으로 구성됩니다. 이러한 작업을 네트워크 엣지로 오프로드하는 방법은 서비스 품질(QoS)을 극대화하기 위해 각 실행 중인 작업의 배치를 결정하는 중요한 도전 과제입니다. 기존 연구의 대부분은 강력한 적응성이 부족한 휴리스틱 알고리즘이나 내재된 작업 의존성을 고려하지 않은 학습 기반 방법을 설계하고 있습니다. 기존 연구와 달리, 우리는 의존 작업을 유향 비순환 그래프(DAG)로 표현하는 시퀀스-투-시퀀스(S2S) 신경망을 활용하여 오프-정책 강화 학습을 기반으로 하는 지능형 작업 오프로드 계획을 제안합니다. 학습 효율성을 개선하기 위해 특정 오프-정책 정책 기울기 알고리즘과 클리핑된 대리 목표를 결합합니다. 그리고 합성 DAG로 모델링된 이질적인 애플리케이션을 사용하여 광범위한 시뮬레이션 실험을 수행합니다. 결과는 다음을 보여줍니다: 1) 우리의 방법은 학습에서 빠르고 안정적으로 수렴합니다; 2) 기존 방법보다 성능이 우수하고 다양한 시나리오에서 지연 및 에너지 소비에서 최적 솔루션에 근접합니다.