SuperPos-Prompt: Verbesserung des Soft Prompt Tunings von Sprachmodellen durch Superposition mehrerer Token-Einbettungen

Soft Prompt Tuning-Techniken haben kürzlich als effektive Strategie für das parametereffiziente Tuning vortrainierter Sprachmodelle an Bedeutung gewonnen, insbesondere durch Minimierung der erforderlichen Anpassungen der Modellparameter. Trotz ihres zunehmenden Einsatzes bleibt die optimale Abstimmung mit Soft Prompts, insbesondere bei kleineren Datensätzen, eine erhebliche Herausforderung. Diese Studie leistet in diesem Bereich zwei Beiträge: (i) Wir stellen SuperPos-Prompt vor, eine neue Reparametrisierungs-Technik, die die Superposition mehrerer vortrainierter Vokabular-Einbettungen nutzt, um das Lernen von Soft Prompts zu verbessern. Unsere Experimente über mehrere GLUE- und SuperGLUE-Benchmarks hinweg heben konsistent die Überlegenheit von SuperPos-Prompt gegenüber Residual Prompt Tuning hervor und zeigen eine durchschnittliche Score-Steigerung von +6,4 bei T5-Small und +5,0 bei T5-Base sowie eine schnellere Konvergenz. Bemerkenswerterweise übertrifft SuperPos-Prompt gelegentlich sogar Methoden mit vollständigem Fine-Tuning. (ii) Zudem demonstrieren wir eine verbesserte Leistung und schnelle Konvergenz durch das Weglassen von Dropouts aus dem eingefrorenen Netzwerk, was zu konsistenten Verbesserungen in verschiedenen Szenarien und Tuning-Methoden führt.