Vortrainierte Sprachmodelle zur Textgenerierung: Eine Umfrage

Die Textgenerierung zielt darauf ab, plausiblen und lesbaren Text in menschlicher Sprache aus Eingabedaten zu erzeugen. Das Wiederaufleben des Deep Learning hat dieses Feld erheblich vorangebracht, insbesondere mit Hilfe neuronaler Generierungsmodelle, die auf vortrainierten Sprachmodellen (PLMs) basieren. Die Textgenerierung auf Basis von PLMs wird sowohl in der Wissenschaft als auch in der Industrie als vielversprechender Ansatz angesehen. In diesem Artikel bieten wir eine Umfrage zur Nutzung von PLMs in der Textgenerierung. Wir beginnen mit der Einführung von zwei Schlüsselaspekten bei der Anwendung von PLMs auf die Textgenerierung: (1) wie man ein effektives PLM entwirft, das als Generierungsmodell dient; und (2) wie man PLMs effektiv optimiert, gegeben den Referenztext, und sicherstellt, dass die erzeugten Texte besondere Texteigenschaften erfüllen. Dann zeigen wir die Hauptprobleme, die in diesen Aspekten aufgetreten sind, sowie mögliche Lösungen dafür. Wir fügen auch eine Zusammenfassung verschiedener nützlicher Ressourcen und typischer Anwendungen zur Textgenerierung auf Basis von PLMs hinzu. Schließlich heben wir die zukünftigen Forschungsrichtungen hervor, die diese PLMs für die Textgenerierung weiter verbessern werden. Diese umfassende Umfrage soll Forschern, die an Problemen der Textgenerierung interessiert sind, helfen, die Kernkonzepte, die Haupttechniken und die neuesten Entwicklungen in diesem Bereich auf der Grundlage von PLMs zu erlernen.