P-Tuning v2: Prompt-Tuning kann universell vergleichbar mit Fine-Tuning über Skalen und Aufgaben hinweg sein

Prompt-Tuning, das ausschließlich kontinuierliche Prompts mit einem eingefrorenen Sprachmodell anpasst, reduziert erheblich den Speicher- und Speicherbedarf pro Aufgabe während des Trainings. Allerdings zeigt die vorherige Arbeit im Kontext der NLU, dass Prompt-Tuning bei normalgroßen vortrainierten Modellen nicht gut abschneidet. Wir stellen außerdem fest, dass bestehende Methoden des Prompt-Tunings mit schwierigen Sequenzlabeling-Aufgaben nicht umgehen können, was auf einen Mangel an Universalität hinweist. Wir präsentieren eine neuartige empirische Erkenntnis, dass richtig optimiertes Prompt-Tuning über eine breite Palette von Modellskalen und NLU-Aufgaben hinweg universell effektiv sein kann. Es erreicht die Leistung des Fine-Tunings, während es nur 0,1%-3% angepasster Parameter hat. Unsere Methode P-Tuning v2 ist eine Implementierung des Deep Prompt Tuning li2021prefix, qin2021learning, optimiert und angepasst für NLU. Angesichts der Universalität und Einfachheit von P-Tuning v2 glauben wir, dass es als Alternative zum Fine-Tuning dienen und eine starke Basis für zukünftige Forschung darstellen kann. Unser Code und unsere Daten sind unter https://github.com/THUDM/P-tuning-v2 verfügbar.