Vortrainierte Transformer für die Textbewertung: BERT und darüber hinaus

Das Ziel der Textbewertung ist es, eine geordnete Liste von Texten zu erstellen, die aus einem Korpus als Antwort auf eine Anfrage abgerufen werden. Obwohl die häufigste Formulierung der Textbewertung die Suche ist, finden sich auch in vielen Anwendungen der Verarbeitung natürlicher Sprache Beispiele für diese Aufgabe. Dieses Tutorial, basierend auf einem bevorstehenden Buch, bietet einen Überblick über die Textbewertung mit neuronalen Netzwerkarchitekturen, die als Transformer bekannt sind, von denen BERT das bekannteste Beispiel ist. Die Kombination von Transformern und selbstüberwachtem Vortraining hat, ohne Übertreibung, die Bereiche der Verarbeitung natürlicher Sprache (NLP), der Informationsrückgewinnung (IR) und darüber hinaus revolutioniert. Wir bieten eine Synthese bestehender Arbeiten als einen einzigen Einstiegspunkt für sowohl Forscher als auch Praktiker. Unsere Abdeckung ist in zwei Kategorien unterteilt: Transformer-Modelle, die die Neubewertung in mehrstufigen Bewertungsarchitekturen durchführen, und erlernte dichte Darstellungen, die die Bewertung direkt durchführen. Zwei Themen durchdringen unsere Behandlung: Techniken zum Umgang mit langen Dokumenten und Techniken zur Bewältigung des Kompromisses zwischen Effektivität (Ergebnisqualität) und Effizienz (Abfragelatenz). Obwohl Transformer-Architekturen und Vortrainingstechniken neuere Innovationen sind, sind viele Aspekte ihrer Anwendung gut verstanden. Dennoch gibt es viele offene Forschungsfragen, und daher, zusätzlich zu den Grundlagen der vortrainierten Transformer für die Textbewertung darzulegen, versuchen wir auch, die Zukunft vorherzusagen.