진화 신경 구조 검색 알고리즘의 성능 예측자를 위한 새로운 훈련 프로토콜

진화 신경 구조 검색(ENAS)은 진화 계산 알고리즘을 사용하여 심층 신경망(DNN)의 구조를 자동으로 설계할 수 있습니다. 그러나 대부분의 ENAS 알고리즘은 사용자가 반드시 이용할 수 있는 것은 아닌 강력한 계산 자원을 필요로 합니다. 성능 예측자는 이러한 검색을 달성하는 데 도움을 줄 수 있는 회귀 모델의 한 유형으로, 많은 계산 자원을 소모하지 않습니다. 다양한 성능 예측자가 설계되었음에도 불구하고, 이들은 회귀 모델을 구축하기 위해 동일한 훈련 프로토콜을 사용합니다: 1) 성능을 기준으로 DNN 세트 샘플링을 통해 훈련 데이터셋 구축; 2) 평균 제곱 오차 기준으로 모델 훈련; 3) ENAS 동안 새롭게 생성된 DNN의 성능 예측. 본 논문에서는 훈련 프로토콜을 구성하는 세 단계가 직관적이고 설명적인 예를 통해 잘 고려되지 않았음을 지적합니다. 더욱이, 이러한 문제를 해결하기 위해 훈련 목표를 구축하기 위한 쌍별 순위 지표 설계, 훈련 샘플 맞춤을 위한 로지스틱 회귀 사용 제안, 훈련 인스턴스를 구축하기 위한 차별적 방법 개발로 구성된 새로운 훈련 프로토콜을 제안합니다. 제안된 훈련 프로토콜의 효과성을 검증하기 위해 기계 학습 분야에서 널리 사용되는 네 가지 회귀 모델을 선택하여 두 개의 벤치마크 데이터셋에서 비교를 수행하였습니다. 모든 비교의 실험 결과는 제안된 훈련 프로토콜이 기존의 훈련 프로토콜에 비해 성능 예측 정확성을 상당히 향상시킬 수 있음을 입증합니다.