수딥 신경망에서 다중 의존 스티펠 다양체 최적화 해결책: 직교 가중치 정규화

직교 행렬은 순환 신경망(RNN) 훈련에서 장점을 보여주었지만, 이러한 행렬은 RNN의 은닉-은닉 변환을 위해 정방형으로 제한됩니다. 본 논문에서는 이러한 정방형 직교 행렬을 직교 직사각형 행렬로 일반화하고, 피드포워드 신경망(FNN)에서 다중 의존 스티펠 다양체 최적화 문제(OMDSM)로 공식화합니다. 우리는 직사각형 직교 행렬이 네트워크 활성화의 분포를 안정화하고 FNN을 정규화할 수 있음을 보여줍니다. 또한 OMDSM을 해결하기 위해 새로운 직교 가중치 정규화 방법을 제안합니다. 특히, 이는 가중치 행렬이 직교가 되도록 보장하고 학습 중 변환을 통해 기울기 정보를 역전파하도록 프록시 매개변수에 대한 직교 변환을 구성합니다. 안정성을 보장하기 위해, 우리는 모든 취급 가능한 직교 변환에 대해 프록시 매개변수와 정규화된 가중치 사이의 왜곡을 최소화합니다. 또한, 우리는 실제에서 직교 필터 뱅크를 학습하기 위해 직교 선형 모듈(OLM)을 설계하였으며, 이는 표준 선형 모듈의 대안으로 사용될 수 있습니다. 광범위한 실험을 통해, OLM을 표준 선형 모듈로 간단히 대체하여 실험 프로토콜을 수정하지 않고도, 우리의 방법이 CIFAR와 ImageNet 데이터셋의 Inception 및 잔여 네트워크를 포함한 최첨단 네트워크의 성능을 크게 향상시킴을 보여줍니다. 특히, 우리는 넓은 잔여 네트워크의 CIFAR-100 테스트 오류를 20.04%에서 18.61%로 이러한 간단한 대체를 통해 줄였습니다. 우리의 코드는 결과 재현을 위해 온라인에서 제공됩니다.