Virtuelles adversariales Training: Eine Regularisierungsmethode für überwachtes und halbüberwachtes Lernen

Wir schlagen eine neue Regularisierungsmethode basierend auf virtuellem adversarialen Verlust vor: einem neuen Maß für die lokale Glattheit der bedingten Labelverteilung gegebenen Inputs. Der virtuelle adversariale Verlust wird als die Robustheit der bedingten Labelverteilung rund um jeden Inputdatenpunkt gegenüber lokalen Störungen definiert. Im Gegensatz zum adversarialen Training definiert unsere Methode die adversariale Richtung ohne Labelinformationen und ist daher auf halbüberwachtes Lernen anwendbar. Da die Richtungen, in denen wir das Modell glätten, nur "virtuell" adversarial sind, nennen wir unsere Methode virtuelles adversariales Training (VAT). Die Rechenkosten von VAT sind relativ gering. Für neuronale Netze kann der angenäherte Gradient des virtuellen adversarialen Verlusts mit nicht mehr als zwei Paaren von Vorwärts- und Rückwärtsausbreitungen berechnet werden. In unseren Experimenten wendeten wir VAT auf überwachtes und halbüberwachtes Lernen in mehreren Benchmark-Datensätzen an. Mit einer einfachen Verbesserung des Algorithmus, die auf dem Prinzip der Entropieminimierung basiert, erreicht unser VAT Spitzenleistungen für halbüberwachtes Lernen auf SVHN und CIFAR-10.