Paraphrasierungsarten, die Fähigkeiten zur Prompt-Entwicklung hervorrufen

Der Erfolg moderner Sprachmodelle hängt maßgeblich davon ab, einen geeigneten Prompt zu finden, um das Modell zu instruieren. Bis jetzt war weitgehend unbekannt, wie Variationen im sprachlichen Ausdruck von Prompts diese Modelle beeinflussen. Diese Studie bewertet systematisch und empirisch, welche linguistischen Merkmale Modelle durch Paraphrasierungsarten beeinflussen, d.h. unterschiedliche sprachliche Änderungen an bestimmten Positionen. Wir messen Verhaltensänderungen für fünf Modelle über 120 Aufgaben und sechs Familien von Paraphrasen (d.h. Morphologie, Syntax, Lexikon, lexico-syntax, Diskurs und andere). Zudem kontrollieren wir andere Faktoren der Prompt-Entwicklung (z.B. Prompt-Länge, lexikalische Vielfalt und Nähe zu den Trainingsdaten). Unsere Ergebnisse zeigen ein Potenzial für Sprachmodelle, Aufgaben zu verbessern, wenn ihre Prompts in spezifischen Paraphrasierungsarten angepasst werden (z.B. 6,7% medianer Gewinn in Mixtral 8x7B; 5,5% in LLaMA 3 8B). Insbesondere Änderungen in Morphologie und Lexikon, d.h. dem verwendeten Wortschatz, zeigten vielversprechende Ergebnisse zur Verbesserung von Prompts. Diese Ergebnisse tragen zur Entwicklung robusterer Sprachmodelle bei, die in der Lage sind, Variabilität im sprachlichen Ausdruck zu bewältigen.