Eine Umfrage zu Transformatoren in der NLP mit Fokus auf Effizienz

Das Aufkommen von Transformatoren mit Aufmerksamkeitsmechanismen und zugehörigen vortrainierten Modellen hat das Feld der natürlichen Sprachverarbeitung (NLP) revolutioniert. Diese Modelle sind jedoch ressourcenintensiv aufgrund ihrer hochkomplexen Architektur. Dies schränkt ihre Anwendung in ressourcenbeschränkten Umgebungen ein. Bei der Auswahl eines geeigneten NLP-Modells gibt es einen wesentlichen Kompromiss zwischen der Wahl von Genauigkeit über Effizienz und umgekehrt. Dieses Papier präsentiert einen Kommentar zur Entwicklung von NLP und seinen Anwendungen mit Schwerpunkt auf deren Genauigkeit sowie Effizienz. Im Anschluss daran wurde eine Umfrage zu Forschungsbeiträgen durchgeführt, die darauf abzielen, die Effizienz transformerbasierter Modelle in verschiedenen Phasen der Modellentwicklung sowie mit Hardwareüberlegungen zu verbessern. Ziel dieser Umfrage ist es, zu bestimmen, wie aktuelle NLP-Techniken zu einer nachhaltigen Gesellschaft beitragen und eine Grundlage für zukünftige Forschung zu schaffen.