분포 외 탐지를 위한 심층 생성 모델의 피셔 정보 메트릭에 대한 근사치

스코어 기반 확산 모델과 변분 오토인코더와 같은 가능성 기반의 심층 생성 모델은 이미지, 텍스트 또는 오디오와 같은 데이터의 고차원 분포를 근사하는 최신 기계 학습 모델입니다. 이들이 자연스럽게 적용될 수 있는 여러 하위 작업 중 하나는 분포 외 탐지(OOD)입니다. 그러나 Nalisnick 외 연구진의 선구적인 연구에 따르면, 우리가 재현한 이 연구에서는 심층 생성 모델이 훈련 데이터보다 OOD 데이터에 대해 일관되게 더 높은 로그 가능성을 추정한다는 것을 보여줍니다. 이는 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 OOD 탐지를 위해 심층 생성 모델의 매개변수에 대한 데이터 포인트의 기울기를 분석합니다. OOD 데이터는 훈련 데이터보다 더 큰 기울기 노름을 가져야 한다는 단순한 직관을 기반으로 합니다. 우리는 기울기의 크기를 피셔 정보 메트릭을 근사하는 것으로 형식화합니다. 피셔 정보 행렬(FIM)은 큰 절대 대각선 값을 가지며, 이는 층별 기울기 노름을 특징으로 사용하는 것을 동기화합니다. 이러한 특징들을 결합하여 주어진 데이터 포인트에 대한 층별 기울기 노름의 결합 밀도를 추정하는 간단하고 모델 무관하며 하이퍼파라미터가 필요 없는 OOD 탐지 방법을 제안합니다. 우리는 이 층별 기울기 노름들이 약하게 상관되어 있음을 발견하였고, 이들의 결합 사용이 유용함을 나타내며, 층별 기울기 노름이 (데이터 표현) 불변성 원칙을 만족함을 증명합니다. 우리의 경험적 결과는 이 방법이 대부분의 심층 생성 모델과 이미지 데이터셋 조합에 대해 전형성 테스트보다 우수한 성능을 보인다는 것을 나타냅니다.