이진 신경망 (BNN)은 초저전력 엣지 장치에서 인공 신경망 (ANN) 구현을 가능하게 하는 유망한 접근 방식입니다. 이러한 장치는 추론을 위한 클래스가 진화하거나 새로운 클래스가 나타날 수 있는 동적 환경에서 데이터를 계산할 수 있어 지속적인 학습이 필요합니다. 클래스 증가 학습 (CIL)은 분류 문제에 대한 지속적인 학습의 중요한 유형이지만, BNN의 맥락에서는 거의 다뤄지지 않았습니다. 또한, 기존의 BNN 모델 대부분은 완전히 이진적이지 않으며, 입력, 출력 및 배치 정규화를 위해 여러 개의 실수값 네트워크 레이어가 필요합니다. 이 논문은 네 가지 주요 기여를 통해 완전 이진화된 신경망(FBNN)에서 클래스 증가 학습을 가능하게 하는 한 단계 더 나아갑니다. 첫째, CIL에 적합한 FBNN 설계와 훈련 절차를 재검토합니다. 둘째, 과거 클래스와 현재 클래스 간의 성능 균형을 조절하는 손실 균형 방법을 탐색합니다. 셋째, 전이 가능한 표현을 위한 FBNN의 기능 추출기를 사전 훈련하는 반 감독적 방법을 제안합니다. 넷째, 두 가지 기존 CIL 방법인 잠재적 재생 및 원주율 재생을 철저히 비교합니다. 이러한 기여는 CIFAR100 데이터셋에서 먼저 예시되며, CORE50 지속 학습 벤치마크로 확장됩니다. CORE50에서 우리의 3Mb FBNN을 기반으로 한 최종 결과는 기존의 더 크고 실수값 신경망 모델과 동등하거나 더 나은 성능을 보여줍니다.
Basso-Bert et al. (Mon,)은 이 질문을 연구했습니다.