탈상관 배치 정규화

배치 정규화(BN)는 미니 배치 내에서 활성화를 중심에 맞추고 조정하여 심층 모델의 학습을 가속화할 수 있습니다. 본 연구에서는 활성화를 중심에 맞추고 조정하는 것뿐만 아니라 화이트닝을 수행하는 탈상관 배치 정규화(DBN)를 제안합니다. 우리는 여러 화이트닝 기법을 탐색하고, PCA 화이트닝이 학습에 해로운 확률적 축 스와핑이라는 문제를 일으킨다는 것을 발견했습니다. 우리는 ZCA 화이트닝이 이 문제를 겪지 않음을 보여주며 성공적인 학습을 허용합니다. DBN은 BN의 바람직한 특성을 유지하고 BN의 최적화 효율성과 일반화 능력을 더욱 향상시킵니다. 우리는 DBN이 다층 퍼셉트론 및 합성곱 신경망에서 BN의 성능을 향상시킬 수 있음을 보여주기 위해 포괄적인 실험을 설계합니다. 더욱이, 우리는 CIFAR-10, CIFAR-100 및 ImageNet에서 잔여 네트워크의 정확도를 지속적으로 향상시킵니다.