Vorhersage der Big Five Persönlichkeitseigenschaften in chinesischen Beratungsgesprächen unter Verwendung großer Sprachmodelle

Die genaue Bewertung von Persönlichkeitseigenschaften ist entscheidend für eine effektive Psychotherapie, aber traditionelle Methoden wie Selbstberichtfragebögen sind zeitaufwändig und verzerrt. Diese Studie untersucht, ob große Sprachmodelle (LLMs) die Big Five Persönlichkeitseigenschaften direkt aus Beratungsgesprächen vorhersagen können, und führt ein innovatives Rahmenwerk zur Durchführung der Aufgabe ein. Unser Rahmenwerk verwendet Rollenspiele und auf Fragebögen basierende Aufforderungen, um LLMs auf Beratungssitzungen zu konditionieren und Kundenreaktionen auf das Big Five Inventory zu simulieren. Wir haben unser Rahmenwerk an 853 realen Beratungssitzungen evaluiert und eine signifikante Korrelation zwischen den von LLM vorhergesagten und den tatsächlichen Big Five Eigenschaften festgestellt, was die Validität des Rahmenwerks beweist. Darüber hinaus heben Ablationsstudien die Bedeutung von Rollenspiel-Simulationen und die Vereinfachung der Aufgabe durch Fragebögen zur Verbesserung der Vorhersagegenauigkeit hervor. In der Zwischenzeit erzielt unser fein abgestimmtes Llama3-8B-Modell, das die Direct Preference Optimization mit überwachtem Fine-Tuning nutzt, eine Verbesserung von 130,95%, die den Stand der Technik Qwen1.5-110B um 36,94% in der Validität der Persönlichkeitsvorhersage übertrifft. Zusammenfassend lässt sich sagen, dass LLMs die Persönlichkeit basierend auf Beratungsgesprächen vorhersagen können. Unser Code und Modell sind öffentlich verfügbar unter https://github.com/kuri-leo/BigFive-LLM-Predictor, was ein wertvolles Werkzeug für zukünftige Forschungen in der computergestützten Psychometrie darstellt.