Überdenken der Bewertung von Out-of-Distribution-Erkennung: Ein Sorites-Paradoxon

Die meisten bestehenden Benchmarks zur Erkennung von Out-of-Distribution (OOD) klassifizieren Proben mit neuen Labels als OOD-Daten. Einige marginale OOD-Proben weisen jedoch tatsächlich eine nahe semantische Verwandtschaft zu den In-Distribution (ID) Proben auf, was die Bestimmung der OOD-Probe zu einem Sorites-Paradoxon macht. In diesem Papier konstruieren wir einen Benchmark namens Incremental Shift OOD (IS-OOD), um dieses Problem anzugehen, bei dem wir die Testproben in Teilmengen mit unterschiedlichen semantischen und kovariaten Verschiebungsgraden relativ zum ID-Datensatz unterteilen. Die Datenaufteilung erfolgt durch eine Verschiebungsmessmethode, die auf unserer vorgeschlagenen Language Aligned Image Feature Decomposition (LAID) basiert. Darüber hinaus stellen wir einen Synthetic Incremental Shift (Syn-IS) Datensatz zusammen, der qualitativ hochwertige generierte Bilder mit vielfältigeren kovariaten Inhalten enthält, um den IS-OOD-Benchmark zu ergänzen. Wir bewerten aktuelle OOD-Erkennungsmethoden auf unserem Benchmark und finden mehrere wichtige Einblicke: (1) Die Leistung der meisten OOD-Erkennungsmethoden verbessert sich signifikant, wenn die semantische Verschiebung zunimmt; (2) Einige Methoden wie GradNorm könnten unterschiedliche OOD-Erkennungsmechanismen haben, da sie weniger auf semantische Verschiebungen angewiesen sind, um Entscheidungen zu treffen; (3) Übermäßige kovariate Verschiebungen im Bild könnten von einigen Methoden ebenfalls als OOD betrachtet werden. Unser Code und unsere Daten sind unter https://github.com/qqwsad5/IS-OOD verfügbar.