평균장 영역에서 스케일링된 깊은 ResNet의 일반화

ResNet의 광범위한 경험적 성공에도 불구하고, 깊은 ResNet의 일반화 속성은 게으른 훈련 영역을 넘어서는 경우가 드뭅니다. 본 연구에서는 무한히 깊고 넓은 신경망의 한계에서 스케일링된 ResNet을 조사하며, 이때의 기울기 흐름은 대규모 신경망 한계에서 부분 미분 방정식으로 설명됩니다. 이러한 설정에서 일반화 경계를 도출하기 위해, 우리의 분석은 게으른 훈련 영역에서 사용되는 기존의 시간 불변 그람 행렬에서 시간 가변 분포 의존형 버전으로 전환할 필요가 있습니다. 이를 위해 우리는 평균장 영역에서 그람 행렬의 최소 고유값에 대한 전역 하한을 제공합니다. 또한, Kullback-Leibler (KL) 발산의 동적 추적을 위해 우리는 경험적 오류의 선형 수렴을 확립하고 파라미터 분포에 대한 KL 발산의 상한을 추정합니다. 마지막으로, 우리는 Rademacher 복잡성을 통해 일반화 경계에 대한 균일 수렴을 구축합니다. 우리의 결과는 게으른 훈련 영역을 넘어 깊은 ResNet의 일반화 능력에 대한 새로운 통찰을 제공하며, 깊은 신경망의 기본 속성에 대한 이해를 발전시키는 데 기여합니다.