Mean Teachers sind bessere Vorbilder: Gewichtete Konsistenzziele verbessern die Ergebnisse des semi-supervised Deep Learning

Das kürzlich vorgeschlagene Temporal Ensembling hat in mehreren Benchmarks für semi-supervised Learning state-of-the-art Ergebnisse erzielt. Es hält einen exponentiellen gleitenden Durchschnitt der Labelvorhersagen für jedes Trainingsbeispiel und bestraft Vorhersagen, die inkonsistent mit diesem Ziel sind. Da sich die Ziele jedoch nur einmal pro Epoche ändern, wird Temporal Ensembling beim Lernen großer Datensätze unhandlich. Um dieses Problem zu überwinden, schlagen wir Mean Teacher vor, eine Methode, die Modellgewichte anstelle von Labelvorhersagen mittelt. Als zusätzlichen Vorteil verbessert Mean Teacher die Testgenauigkeit und ermöglicht das Training mit weniger Labels als Temporal Ensembling. Ohne die Netzwerkarchitektur zu verändern, erreicht Mean Teacher eine Fehlerquote von 4,35 % bei SVHN mit 250 Labels und übertrifft damit Temporal Ensembling, das mit 1000 Labels trainiert wurde. Wir zeigen auch, dass eine gute Netzwerkarchitektur entscheidend für die Leistung ist. Durch die Kombination von Mean Teacher und Residual Networks verbessern wir den Stand der Technik bei CIFAR-10 mit 4000 Labels von 10,55 % auf 6,28 % und bei ImageNet 2012 mit 10 % der Labels von 35,24 % auf 9,11 %.