“BNN - BN = ?”: 배치 정규화 없이 이진 신경망 훈련

배치 정규화(BN)는 최신 이진 신경망(BNN)의 핵심 촉진제이자 필수 요소로 간주됩니다. 그러나 BN 층은 계산 비용이 크고 일반적으로 비이진 매개변수로 구현되며, 이는 BNN 훈련의 효율적인 수행에 장애물이 됩니다. 또한 각 배치 내 샘플 간의 바람직하지 않은 의존성을 도입합니다. 배치 정규화 없는(BN-Free) 훈련의 최신 발전에 영감을 받아, 우리는 이들의 프레임워크를 BNN 훈련으로 확장하며, BNs가 BNN 훈련 및 추론 레짐에서 완전히 제거될 수 있음을 처음으로 입증합니다. 적응형 그래디언트 클리핑, 스케일 가중치 표준화, 특화된 병목 블록 등 기술을 통합하고 사용자 정의함으로써, BN이 없는 BNN은 BN 기반 대안과 비교하여 경쟁력 있는 정확도를 유지할 수 있습니다. 광범위한 실험을 통해 다양한 BNN 백본 및 데이터셋에서 우리의 제안의 효과가 검증되었습니다. 예를 들어, 최신 ReActNets에서 BNs를 제거한 후에도, 우리의 제안된 방법론을 통해 CIFAR-10, CIFAR-100 및 ImageNet에서 각각 92.08%, 68.34% 및 68.0%의 정확도를 달성할 수 있으며, 성능 감소는 미미한 수준(0.23% ∼ 0.44% CIFAR에서, 1.40% ImageNet에서)입니다. 코드 및 사전 훈련된 모델은 다음에서 확인할 수 있습니다: https://github.com/VITA-Group/BNNNoBN.