신경망 하이퍼파라미터에 대한 체계적인 접근법: 제1부 -- 학습률, 배치 크기, 모멘텀 및 가중치 감소

딥 러닝은 지난 몇 년 동안 이미지, 음성 및 비디오 처리 응용 프로그램에서 눈부신 성공을 거두었지만, 대부분의 훈련은 최적이 아닌 하이퍼파라미터로 진행되며, 불필요하게 긴 훈련 시간이 소요됩니다. 하이퍼파라미터 설정은 많은 경험이 필요로 하는 블랙 아트로 남아 있습니다. 이 보고서는 훈련 시간을 현저하게 단축하고 성능을 개선하는 하이퍼파라미터 설정의 여러 효율적인 방법을 제안합니다. 구체적으로, 이 보고서는 과소적합 및 과적합의 미세한 단서를 파악하기 위한 훈련 검증/테스트 손실 함수를 검토하는 방법을 보여주고 최적의 균형 점으로 나아가기 위한 지침을 제시합니다. 그런 다음 훈련을 가속화하기 위해 학습률/모멘텀을 증가/감소시키는 방법에 대해 논의합니다. 우리의 실험은 각 데이터셋과 구조에 대해 모든 방식의 정규화를 균형 있게 유지하는 것이 중요하다는 것을 보여줍니다. 가중치 감소는 최적 값이 학습률 및 모멘텀과 밀접하게 연결되는 방식을 보여주기 위한 샘플 정규화기로 사용됩니다. 여기서 보고된 결과를 복제하는 데 도움이 되는 파일이 제공됩니다.