SDN/NFV 지원 네트워크에서 심층 강화 학습을 통한 최적 VNF 배치

emerging paradigm - 소프트웨어 정의 네트워킹(SDN) 및 네트워크 기능 가상화(NFV) -는 상용 오프 더 셀프 장치에서 가상 네트워크 기능(VNF)을 실행하는 것을 가능하고 확장 가능하게 만들어 다양한 네트워크 서비스를 제공하면서 비용을 절감합니다. 중앙 집중식 네트워크 관리의 이점을 활용하여 많은 네트워크 장치, 트래픽 및 리소스에 대한 정보가 SDN/NFV 지원 네트워크에서 수집될 수 있습니다. 강력한 기계 학습 도구를 사용하여, 수집된 정보에 따라 맞춤형 방식으로 알고리즘을 설계하여 네트워크 성능을 효율적으로 최적화할 수 있습니다. 본 논문에서는 SDN/NFV 지원 네트워크에서 VNF 배치 문제를 연구하며, 이는 자연스럽게 이진 정수 프로그래밍(BIP) 문제로 형성됩니다. 심층 강화 학습을 사용하여, 우리는 Double Deep Q Network 기반 VNF 배치 알고리즘(DDQN-VNFPA)을 제안합니다. 구체적으로, DDQN은 너무 큰 솔루션 공간에서 최적 솔루션을 결정하고, DDQN-VNFPA는 임계값 기반 정책에 따라 VNF 인스턴스(VNFI)를 배치/해제합니다. 실세계 네트워크 토폴로지에서 추적 기반 시뮬레이션을 통해 DDQN-VNFPA를 평가합니다. 평가 결과는 DDQN-VNFPA가 서비스 기능 체인 요청(SFCR)의 거부 수 및 거부 비율, 처리량, 종단 간 지연, VNFI 실행 시간 및 로드 밸런싱 측면에서 기존 문헌의 알고리즘과 비교하여 네트워크 성능을 향상시킬 수 있음을 보여줍니다.