Virtuelles adversariales Training: Eine Regularisierungsmethode für überwachtes und semi-überwachtes Lernen

Wir schlagen eine neue Regularisierungsmethode basierend auf virtuellem adversarialen Verlust vor: einem neuen Maß für die lokale Glattheit der bedingten Labelverteilung gegebenen Inputs. Der virtuelle adversariale Verlust wird als die Robustheit der bedingten Labelverteilung um jeden Input-Datenpunkt gegen lokale Störungen definiert. Im Gegensatz zum adversarialen Training definiert unsere Methode die adversariale Richtung ohne Labelinformationen und ist daher auf semi-überwachtes Lernen anwendbar. Da die Richtungen, in denen wir das Modell glätten, nur "virtuell" adversarial sind, nennen wir unsere Methode virtuelles adversariales Training (VAT). Die Rechenkosten von VAT sind relativ gering. Für neuronale Netzwerke kann der angenäherte Gradient des virtuellen adversarialen Verlusts mit nicht mehr als zwei Paaren von Vorwärts- und Rückwärtspropagation berechnet werden. In unseren Experimenten haben wir VAT auf überwachtes und semi-überwachtes Lernen in mehreren Benchmark-Datensätzen angewendet. Mit einer einfachen Verbesserung des Algorithmus basierend auf dem Prinzip der Entropieminimierung erzielt unser VAT Spitzenleistungen bei semi-überwachtem Lernen auf SVHN und CIFAR-10.