BRECQ: 블록 재구성을 통한 훈련 후 양자화의 한계 도전

우리는 훈련 없이 신경망 양자화의 도전적인 작업인 훈련 후 양자화(PTQ)를 연구한다. PTQ는 일반적으로 소량의 훈련 데이터의 하위 집합을 사용하지만, 양자화 인식 훈련(QAT)보다 덜 강력한 양자화를 생성한다. 본 연구에서는 BRECQ라는 새로운 프레임워크를 제안하는데, 이는 PTQ에서 비트너비의 한계를 처음으로 2까지 낮춘다. BRECQ는 신경망의 기본 구성 요소를 활용하고 이를 하나씩 재구성한다. 이론적인 연구에서는 2차 오류를 통해 BRECQ가 층 의존성과 일반화 오류 간의 좋은 균형을 달성함을 보여준다. 또한, 혼합 정밀도 기법이 층 간 및 층 내 민감성을 통해 우리 프레임워크에 통합된다. 다양한 수작업 및 탐색된 신경망 아키텍처에서 이미지 분류와 객체 감지 작업을 위해 광범위한 실험이 진행된다. 우리는 처음으로 벨과 휘파람 없이 PTQ가 4비트 및 MobileNetV2에서 QAT와 동등하며 양자화된 모델에서 240배 빠르다는 것을 증명한다. 코드 사용 가능: //github.com/yhhhli/BRECQ.