주의 메커니즘은 덧셈 모델을 학습하지 않는다: 변환기 기능 중요성을 재고하다

우리는 자연어 처리 및 그 이상에서 현재 애플리케이션을 지배하는 변환기 아키텍처에 기능 기여 방법을 적용하는 데 있어 중요한 문제를 다룹니다. 설명 가능한 AI(XAI)를 위한 전통적인 기여 방법은 입력 기능이 모델의 출력에 미치는 영향을 정량화하기 위해 명시적 또는 암묵적으로 선형 또는 덧셈 대체 모델에 의존합니다. 본 연구에서는 변환기가 기능 기여를 위한 인기 있는 대체 모델과 일치시킬 수 없는 구조적 불일치를 공식적으로 증명합니다. 이는 이러한 전통적인 설명 방법론의 기반을 약화시킵니다. 이러한 불일치를 해결하기 위해, 우리는 변환기 프레임워크와 일치하도록 특별히 설계된 새로운 대체 모델인 소프트맥스 연결 덧셈 로그 오즈 모델(SLALOM)을 소개합니다. 기존 방법들과 달리 SLALOM은 합성 및 실제 데이터 세트에서 신뢰할 수 있고 통찰력 있는 설명을 제공하는 능력을 보여줍니다. SLALOM에서 계산된 다양한 설명이 다양한 작업에서 일반적인 대체 설명을 능가하는 것을 보여줌으로써, 우리는 만능 접근 방식보다 작업별 기능 기여의 필요성을 강조합니다.