제한 없는 순열은 외삽을 강제합니다: 변수 중요성은 최소한 하나의 모델을 더 요구합니다, 그렇지 않으면 자유 변수 중요성이 없습니다.

초록 본 논문은 블랙 박스 함수를 해석하기 위한 순열 및 예측(PaP) 방법의 사용에 대한 비판과 폐지 주장을 검토합니다. 랜덤 포레스트에 대해 제안된 변수 중요도 측정, 부분 의존도 도표, 개별 조건부 기대값 도표와 같은 방법은 모델에 구애받지 않으며 사전 훈련된 모델 출력에만 의존하기 때문에 여전히 널리 사용되고 있습니다. 또한 계산 효율성이 높은 소프트웨어에서 이용가능합니다. 그러나 많은 연구에서는 이러한 도구가 특징 간의 강한 의존성이 있을 때 특히 오해를 불러일으킬 수 있는 진단 결과를 낳을 수 있음을 발견했습니다. 이 연구의 목적은 (i) 이 증가하는 문헌을 검토하고, (ii) 이러한 단점에 대한 추가적인 설명과 함께 왜 이러한 일이 발생하는지를 자세히 설명하며, (iii) 추가 모델링을 포함하는 대체 측정 방법을 옹호하는 것입니다. 특히, 우리는 보류 데이터에서 특징 간의 의존성을 해소하는 것이 데이터가 거의 없는 지역으로 원래 모델이 외삽하도록 강제함으로써 특징 공간의 희소 영역에 부당한 강조를 두는 방법을 설명합니다. 다양한 모델 설정에서 이러한 효과를 탐구하고, PaP 메트릭스가 변수 중요도 측정 및 부분 의존도 도표에서 상관된 특징을 과도하게 강조할 수 있다는 이전 문헌의 주장을 지지하는 결과를 발견했습니다. 대안으로, 우리는 조사 중인 특징의 효과를 무효화한 후 모델 성능의 변화를 측정하는 보다 직접적인 접근 방법을 논의하고 권장합니다.