Offenlegung der Verteilungsanfälligkeit von Diskriminatoren durch implizite Generatoren

Im tiefen neuronalen Lernen kann ein auf In-Distribution (ID)-Proben trainierter Diskriminator Hochvertrauensvorhersagen für Out-of-Distribution (OOD)-Proben treffen. Dies stellt ein erhebliches Problem für robustes, vertrauenswürdiges und sicheres tiefes Lernen dar. Das Problem wird hauptsächlich durch die begrenzten ID-Proben verursacht, die während des Trainings des Diskriminators beobachtbar sind, wenn OOD-Proben nicht verfügbar sind. Wir schlagen einen allgemeinen Ansatz zur Feinabstimmung von Diskriminatoren durch implizite Generatoren (FIG) vor. FIG basiert auf Informationstheorie und ist auf Standarddiskriminatoren ohne erneutes Training anwendbar. Es verbessert die Fähigkeit eines Standarddiskriminators, ID- und OOD-Proben zu unterscheiden, indem es spezifische OOD-Proben generiert und bestraft. Gemäß der Shannon-Entropie wird ein energiebasierter impliziter Generator aus einem Diskriminator ohne zusätzliche Trainingskosten abgeleitet. Anschließend zieht ein Langevin-Dynamik-Sampler spezifische OOD-Proben für den impliziten Generator. Schließlich entwerfen wir einen Regularisierer, der dem Entwurfsprinzip des impliziten Generators entspricht, um hohe Entropie für die erzeugten OOD-Proben zu induzieren. Die Experimente an verschiedenen Netzwerken und Datensätzen zeigen, dass FIG die neuesten OOD-Erkennungsleistungen erzielt.