경량 딥 모델을 위한 집합 기법이 적용된 다중 교사 지식 증류 프레임워크

지식 증류(KD)는 압축된 학생 모델이 더 큰 교사 모델의 출력 예측을 모방하여 성능을 복제하는 기계 학습 기법입니다. 다중 교사 지식 증류는 여러 교사 모델의 지식을 집계하여 일반화 및 강인성을 향상시키는 이 패러다임을 확장합니다. 그러나 소음이나 상충되는 예측이 존재할 때 다양한 교사로부터의 출력을 효과적으로 통합하는 것은 여전히 중요한 도전 과제가 됩니다. 본 연구에서 우리는 다중 라운드 병렬 다중 교사 증류(MPMTD)를 제안하며, 이는 여러 집합 기법을 체계적으로 탐색하고 결합합니다. 특히 우리는 손실 기반 및 확률 분포 기반 융합을 포함하여 다양한 수준에서의 집계를 조사합니다. 우리의 프레임워크는 증류 라운드 전반에 걸쳐 다른 전략을 적용하여 적응적이고 시너지 효과가 있는 지식 전이를 가능하게 합니다. 광범위한 실험을 통해 우리는 개별 집계 방법의 강점과 약점을 분석하고, 라운드 간 전략적 시퀀싱이 정적 접근 방식을 상당히 능가함을 입증합니다. 특히, 우리는 KD 맥락에서 처음으로 적용된 비잔틴 복원 확률 분포 집계 방법을 도입하며, 이는 99.29%의 정확도와 99.27%의 F1 점수를 달성하는 최첨단 성능을 이끌어냅니다. 또한, 우리는 정확도와 계산 효율성을 균형 있게 유지하는 증류 라운드 수와 집계 전략의 최적 구성을 식별합니다. 우리의 기여는 (i) KD 환경에 고급 집계 전략의 도입, (ii) 성능에 대한 체계적인 평가, (iii) 실제 배포를 위한 실질적인 권장 사항 포함입니다. 이러한 발견은 효율적이고 강인한 모델 압축이 필수적인 분산 학습, 엣지 컴퓨팅 및 IoT 환경에 대한 중요한 시사점을 제공합니다.