Verbesserte Textklassifikation durch kontrastives adversariales Training

Wir schlagen eine einfache und allgemeine Methode vor, um das Fine-Tuning von Transformer-basierten Kodierern für Textklassifikationsaufgaben zu regulieren. Konkret erzeugen wir während des Fine-Tunings adversarielle Beispiele, indem wir die Wort-Embeddings-Matrix des Modells perturbieren und führen kontrastives Lernen auf sauberen und adversaratischen Beispielen durch, um dem Modell zu lehren, rauschinvariante Darstellungen zu lernen. Durch das Training mit sowohl sauberen als auch adversarischen Beispielen, zusammen mit dem zusätzlichen kontrastiven Ziel, beobachten wir eine konsistente Verbesserung gegenüber dem standardmäßigen Fine-Tuning auf sauberen Beispielen. Bei mehreren GLUE-Benchmark-Aufgaben übertrifft unser feinabgestimmtes BertLarge-Modell die BertLarge-Basislinie um durchschnittlich 1,7 %, und unser feinabgestimmtes RobertaLarge verbessert sich um 1,3 % gegenüber der RobertaLarge-Basislinie. Darüber hinaus validieren wir unsere Methode in verschiedenen Domänen mit drei Datensätzen zur Intent-Klassifikation, wobei unser feinabgestimmtes RobertaLarge die RobertaLarge-Basislinie um durchschnittlich 1-2 % übertrifft. Für das herausfordernde Szenario mit geringen Ressourcen trainieren wir unser System mit der Hälfte der Trainingsdaten (pro Intent) in jedem der drei Datensätze zur Intent-Klassifikation und erreichen eine ähnliche Leistung im Vergleich zur Basislinie, die mit vollständigen Trainingsdaten trainiert wurde.