Spätes Stoppen: Vermeidung des sicheren Lernens aus falsch beschrifteten Beispielen

Die Auswahl von Stichproben ist eine gängige Methode beim Lernen mit verrauschten Labels, bei der Daten mit kleinem Verlust typischerweise als korrekt beschriftet angesehen werden. Diese Methode kann jedoch möglicherweise keine sauberen, schwierigen Beispiele mit hohen Verlusten effektiv identifizieren, die entscheidend für die Erreichung der nahezu optimalen Verallgemeinerungsleistung des Modells sind. In diesem Papier schlagen wir einen neuen Rahmen vor, das Späte Stoppen, das die intrinsische robuste Lernfähigkeit von DNNs durch einen verlängerten Trainingsprozess nutzt. Konkret verringert das Späte Stoppen schrittweise den verrauschten Datensatz, indem hochwahrscheinlich falsch beschriftete Beispiele entfernt werden, während die Mehrheit der sauberen schwierigen Beispiele im Trainingssatz während des gesamten Lernprozesses beibehalten wird. Wir beobachten empirisch, dass falsch beschriftete und saubere Beispiele Unterschiede in der Anzahl der Epochen aufweisen, die erforderlich sind, damit sie konsistent und korrekt klassifiziert werden, und dass somit hochwahrscheinlich falsch beschriftete Beispiele entfernt werden können. Experimentelle Ergebnisse auf benchmark-simulierten und realen verrauschten Datensätzen zeigen, dass die vorgeschlagene Methode besser abschneidet als state-of-the-art Gegenstücke.