Sind große Sprachmodelle tatsächlich gut im Textstiltransfer?

Wir analysieren die Leistung großer Sprachmodelle (LLMs) im Textstiltransfer (TST) und konzentrieren uns dabei speziell auf Sentiment-Transfer und Text-Entgiftung in drei Sprachen: Englisch, Hindi und Bengalisch. Der Textstiltransfer umfasst die Modifikation des sprachlichen Stils eines Textes unter Beibehaltung seines Kerninhalts. Wir bewerten die Fähigkeiten von vortrainierten LLMs mithilfe von Zero-Shot- und Few-Shot-Prompting sowie parameter-effizientem Feintuning auf öffentlich verfügbaren Datensätzen. Unsere Bewertung unter Verwendung automatischer Metriken, GPT-4 und menschlicher Bewertungen zeigt, dass einige vorgestellte LLMs im Englischen gut abschneiden, ihre Leistung in anderen Sprachen (Hindi, Bengalisch) jedoch durchschnittlich bleibt. Das Feintuning verbessert die Ergebnisse im Vergleich zu Zero-Shot- und Few-Shot-Prompting erheblich, sodass sie mit den bisherigen Spitzenleistungen vergleichbar sind. Dies unterstreicht die Notwendigkeit spezieller Datensätze und spezialisierter Modelle für effektiven TST.