Zusammenfassung Während große Sprachmodelle (LLMs) wie ChatGPT beeindruckende Fähigkeiten bei Aufgaben der natürlichen Sprachverarbeitung (NLP) gezeigt haben, bleibt eine systematische Untersuchung ihres Potenzials in diesem Bereich weitgehend unerforscht. Diese Studie zielt darauf ab, diese Lücke zu schließen, indem sie folgende Fragen untersucht. (1) Wie werden LLMs derzeit in der Literatur auf NLP-Aufgaben angewendet? (2) Sind traditionelle NLP-Aufgaben bereits mit LLMs gelöst? (3) Wie sieht die Zukunft der LLMs für NLP aus? Um diese Fragen zu beantworten, unternehmen wir den ersten Schritt, um einen umfassenden Überblick über LLMs im NLP zu bieten. Genauer gesagt stellen wir zunächst eine einheitliche Taxonomie vor, die (1) das parameter-fixierte Paradigma und (2) das Parameteranpassungsparadigma umfasst, um eine einheitliche Perspektive zum Verständnis des aktuellen Fortschritts von LLMs im NLP zu bieten. Darüber hinaus fassen wir die neuen Grenzen und die entsprechenden Herausforderungen zusammen, mit dem Ziel, weitere bahnbrechende Fortschritte zu inspirieren. Wir hoffen, dass diese Arbeit wertvolle Einblicke in das Potenzial und die Einschränkungen von LLMs bietet und gleichzeitig als praktischer Leitfaden für den Aufbau effektiver LLMs im NLP dient.
Qin et al. (Sat,) haben diese Fragestellung untersucht.