블랙 박스 제거: 다중 모달 임베딩 및 다기준 의사결정 지원을 통한 심층 신경망의 개념적 해석

이 논문은 컴퓨터 비전에서 신경 모델에 대한 개념 기반 설명을 다루며, 다기준 의사결정 지원(MCDA)에서의 최신 기술을 바탕으로 합니다. 접근 방식의 새로움은 CLIP의 다중 모달 임베딩을 활용하여 픽셀 기반 표현과 개념 기반 표현 간의 격차를 좁히는 것입니다. 제안된 블랙 박스 제거(CB2) 접근 방식은 교사 모델로 언급되는 훈련된 픽셀 기반 신경망의 잠재적 표현을 3단계 과정으로 분리합니다. 첫째, 샘플의 픽셀 기반 표현이 다중 모달 임베딩을 사용하여 개념적 표현으로 매핑됩니다. 둘째, 개념적 샘플 표현을 사용하여 교사 모델에서 증류하여 설계대로 해석 가능한 MCDA 학생 모델이 훈련됩니다. 셋째, 교사와 학생의 잠재적 표현의 정렬은 교사 모델을 설명하는 데 관련된 개념을 명시합니다. ResNet, VGG 및 VisionTransformer에서 Cifar-10, Cifar-100, Tiny ImageNet 및 Fashion-MNIST에 대한 접근 방식의 경험적 검증은 교사 모델에 대해 제공된 해석의 효과를 보여줍니다. 분석 결과, 의사결정은 주로 몇 가지 개념에 의존하며, 이에 따라 교사의 결정에 잠재적인 편향이 드러납니다.