Untersuchung der expertenbasierten Prompt-Engineering für rechtliche Folgerungsaufgaben

Zusammenfassung Rechtliches Denken ist komplex und facettenreich und erfordert ein breites Set an Fähigkeiten. Durch die Nutzung des Fachwissens von Rechtsexperten gestalten wir fünf Elemente, die in Prompts für große Sprachmodelle aufgenommen werden können und die bei rechtlichen Denkaufgaben helfen könnten. Wir verwenden zusätzliche rechtliche Richtlinien, 1-shot-Prompting, Wörterbuchdefinitionen, Wissensdarstellungen von rechtlichen Artikeln und IRAC-Stil-Prompting. Wir untersuchen den Effekt jedes Prompt-Elements auf die Leistung des Modells bei einer rechtlichen Folgerungsaufgabe. Bestimmte Prompt-Elemente können die Leistung verbessern, abhängig vom Kontext und dem Modell. Für die kleineren Modelle verbessert eine Erhöhung der Anzahl an Prompt-Elementen im Durchschnitt die Leistung. Für jede spezifische Kombination von Modell und Unteraufgabe scheint es am besten zu sein, nur eine Teilmenge der Prompt-Elemente zu verwenden. Für das fortschrittlichste Denkmodell, das wir evaluieren, verbessert die Verwendung einer Auswahl von Prompt-Elementen die durchschnittliche Leistung über alle bewerteten Unteraufgaben. Die Ergebnisse deuten darauf hin, dass der Problembereich der rechtlichen Folgerungsaufgabe möglicherweise zu groß für ein einzelnes Modell und einen Prompt ist. In zukünftiger Forschung möchten wir daher die Fähigkeiten eines Ensembles spezialisierter Modelle untersuchen.