Debiased Self-Training für semi-supervised Lernen

Tiefe neuronale Netzwerke erzielen bemerkenswerte Leistungen bei einer Vielzahl von Aufgaben mit Hilfe von groß angelegten, gekennzeichneten Datensätzen. Dennoch ist es zeitaufwendig und arbeitsintensiv, diese Datensätze für realistische Aufgaben zu erhalten. Um den Bedarf an gekennzeichneten Daten zu verringern, wird Self-Training im semi-supervised Lernen häufig eingesetzt, indem iterativ Pseudo-Labels für unbeschriftete Proben zugewiesen werden. Trotz seiner Popularität wird angenommen, dass Self-Training unzuverlässig ist und oft zu Trainingsinstabilität führt. Unsere experimentellen Studien zeigen weiter, dass die Verzerrung im semi-supervised Lernen sowohl aus dem Problem selbst als auch aus dem unangemessenen Training mit potenziell falschen Pseudo-Labels resultiert, was den Fehler im iterativen Self-Training-Prozess aufhäuft. Um die oben genannte Verzerrung zu reduzieren, schlagen wir Debiased Self-Training (DST) vor. Zunächst werden die Generierung und Nutzung von Pseudo-Labels durch zwei parameterunabhängige Klassifikatorköpfe entkoppelt, um eine direkte Fehlerakkumulation zu vermeiden. Zweitens schätzen wir den schlimmsten Fall der Self-Training-Verzerrung, in dem die Pseudo-Labeling-Funktion genau bei gekennzeichneten Proben ist, jedoch so viele Fehler wie möglich bei unbeschrifteten Proben macht. Dann optimieren wir die Darstellungen adversarial, um die Qualität der Pseudo-Labels zu verbessern, indem wir den schlimmsten Fall vermeiden. Umfassende Experimente rechtfertigen, dass DST im Durchschnitt eine Verbesserung von 6,3 % im Vergleich zu modernen Methoden bei standardisierten Benchmarks für semi-supervised Lernen und 18,9 % im Vergleich zu FixMatch bei 13 verschiedenen Aufgaben erreicht. Darüber hinaus kann DST nahtlos an andere Self-Training-Methoden angepasst werden und hilft, deren Training zu stabilisieren und die Leistung über Klassen hinweg sowohl im Fall des Trainings von Grund auf als auch bei der Feinabstimmung vortrainierter Modelle auszubalancieren.