Prompt-Erforschung mit Prompt-Regression

Mit dem Aufkommen der demokratisierten Nutzung großer Sprachmodelle (LLMs) wächst der Wunsch, die Erstellung und Auswahl von LLM-Prompts über iterative Versuche und Fehler hinaus zu systematisieren. Frühere Arbeiten konzentrieren sich hauptsächlich darauf, den Raum der Prompts zu durchsuchen, ohne die Beziehungen zwischen den Variationen der Prompts zu berücksichtigen. Hier schlagen wir einen Rahmen vor, die Prompt-Erforschung mit Prompt-Regression (PEPR), um die Wirkung von Prompt-Kombinationen vorherzusagen, basierend auf Ergebnissen für einzelne Promptelemente sowie eine einfache Methode zur Auswahl eines effektiven Prompts für einen bestimmten Anwendungsfall. Wir evaluieren unseren Ansatz mit Open-Source-LLMs unterschiedlicher Größen in mehreren Aufgaben.