Ein semantisch verbessertes Textabruf-Framework mit abstraktierender Zusammenfassung

Zusammenfassung Kürzlich haben große vortrainierte Sprachmodelle (PLMs) eine Revolution in der Informationsabruf-Community ausgelöst. In den meisten PLMs-basierten Abrufframeworks hängt die Ranking-Leistung weitgehend von der Modellstruktur und der semantischen Komplexität des Eingabetextes ab. Sequenz-zu-Sequenz generative Modelle für Fragenbeantwortung oder Textgenerierung haben sich als wettbewerbsfähig erwiesen, daher fragen wir uns, ob diese Modelle die Ranking-Effektivität durch die Verbesserung der Eingabesemantik steigern können. Dieser Artikel stellt SE-BERT vor, ein semantisch verbessertes bidirektionales Encoding-Repräsentations-Framework von Transformern (BERT), das mehr semantische Informationen erfasst, indem der Eingabetext modifiziert wird. SE-BERT nutzt ein vortrainiertes generatives Sprachmodell, um beide Seiten des Kandidatenpassus zusammenzufassen und sie in eine neue Eingabesequenz zu konkatieren, was BERT ermöglicht, mehr semantische Informationen innerhalb der Beschränkungen der Länge der Eingabesequenz zu erwerben. Experimentelle Ergebnisse aus zwei Datensätzen der Text Retrieval Conference zeigen, dass die Effektivität unseres Ansatzes mit der Länge des Eingabetextes zunimmt.