신뢰도 기반 다중 교사 지식 증류

지식 증류는 처음에 단일 교사 모델의 추가 감독을 활용하여 학생 모델 훈련을 위해 도입되었습니다. 학생 성능을 향상시키기 위해, 최근의 몇 가지 변형은 여러 교사로부터 다양한 지식 출처를 활용하려고 시도합니다. 그러나 기존 연구는 주로 여러 교사의 예측을 평균내거나 다른 레이블 없는 전략을 사용하여 결합하여 다양한 출처의 지식을 통합하는 데 초점을 맞추어, 낮은 품질의 교사 예측이 있는 경우 학생을 오도할 수 있습니다. 이 문제를 해결하기 위해, 우리는 신뢰도 기반 다중 교사 지식 증류(CA-MKD)를 제안하며, 이는 진실 레이블의 도움으로 각 교사 예측에 대해 샘플별 신뢰성을 적응적으로 할당하고, 일대일 레이블에 가까운 교사 예측에는 큰 가중치를 부여합니다. 또한, CA-MKD는 지식 전달 과정을 안정시키기 위해 중간 레이어의 특징을 통합합니다. 광범위한 실험 결과, 우리 CA-MKD는 다양한 교사-학생 아키텍처 전반에 걸쳐 비교된 모든 최첨단 방법을 지속적으로 초월하는 것으로 나타났습니다. 코드 사용 가능: https://github.com/Rorozhl/CA-MKD.