딥 신경망의 선형 영역 수에 대하여

우리는 조각별 선형 활성화를 갖는 딥 피드포워드 신경망이 계산할 수 있는 함수의 복잡성을 대칭성과 선형 영역의 수 측면에서 연구한다. 딥 네트워크는 각 층의 입력 공간 일부를 순차적으로 동일한 출력으로 매핑할 수 있다. 이러한 방식으로 딥 모델은 서로 다른 입력의 복잡한 패턴에 대해 동일하게 반응하는 함수를 계산한다. 이러한 함수의 조합적 구조는 네트워크 깊이 측면에서 계산 조각을 지수적으로 재활용할 수 있게 한다. 본 논문은 이러한 조합적 사상 함수의 복잡성을 조사하고, 조각별 선형 활성 함수가 적용된 신경망에서 깊이의 이점에 관한 새로운 이론적 결과를 제시한다. 특히, 본 분석은 단일 모델군에 국한되지 않으며, 예로서 렉티파이어 및 맥스아웃 네트워크에 적용한다. 기존 연구의 복잡성 경계 값을 개선하고 상위 층의 유닛 거동을 조사한다.