지식 증류를 위한 공유 분류기를 통한 적응형 교육

지식 증류(KD)는 과다 매개변수화된 교사 네트워크에서 덜 매개변수화된 학생 네트워크로 지식을 전송하는 데 사용되는 기술로, 성능 손실을 최소화합니다. KD 방법은 오프라인 방식과 온라인 방식으로 분류될 수 있습니다. 오프라인 KD는 강력한 사전 훈련된 교사 네트워크를 활용하며, 온라인 KD는 학생 네트워크의 학습 효과성을 높이기 위해 교사 네트워크를 동적으로 조정할 수 있습니다. 최근, 교사 네트워크의 분류기를 공유하는 것이 네트워크 매개변수의 수를 최소한으로 증가시키면서 학생 네트워크의 성능을 크게 향상시킬 수 있다는 것이 발견되었습니다. 이러한 통찰을 바탕으로, 우리는 공유 분류기를 사용한 적응형 교육(ATSC)을 제안합니다. ATSC에서는 사전 훈련된 교사 네트워크가 학생 네트워크의 능력에 기반하여 학습 요구에 더 잘 맞추기 위해 스스로 조정하며, 학생 네트워크는 공유 분류기 덕분에 성능이 향상됩니다. 추가로, 우리는 여러 교사가 있는 환경으로 ATSC를 확장합니다. 우리는 제안된 KD 방법의 효과를 입증하는 광범위한 실험을 수행합니다. 우리 접근법은 CIFAR-100 및 ImageNet 데이터셋에서 단일 교사 및 다중 교사 시나리오 모두에서 최첨단 결과를 달성하며, 필요한 모델 매개변수 수는 겨우 modest한 증가를 보입니다. 소스 코드는 https://github.com/random2314235/ATSC 에서 공개적으로 이용 가능합니다.