Unsupervised Corpus Aware Language Model Pre-training für dichte Passage Retrieval

Neueste Forschung zeigt die Effektivität der Verwendung von feinabgestimmten Sprachmodellen (LM) für dichten Retrieval. Allerdings sind dichte Retriever schwer zu trainieren, da sie typischerweise stark optimierte Feinabstimmungspipelines erfordern, um ihr volles Potenzial auszuschöpfen. In diesem Papier identifizieren und adressieren wir zwei zugrunde liegende Probleme von dichten Retreivern: i) Zerbrechlichkeit gegenüber Rausch in Trainingsdaten und ii) das Erfordernis großer Batches, um den Einbettungsraum robust zu lernen. Wir verwenden die kürzlich vorgeschlagene Condenser-Vortrainingsarchitektur, die lernt, Informationen in den dichten Vektor durch LM-Vortraining zu kondensieren. Darüber hinaus schlagen wir coCondenser vor, das einen unbeaufsichtigten corpus-level kontrastiven Verlust hinzufügt, um den Passage-Einbettungsraum vorzuwärmen. Experimente mit den MS-MARCO-, Natural Question- und Trivia QA-Datensätzen zeigen, dass coCondenser die Notwendigkeit für umfangreiche Datenengineering-Techniken wie Augmentierung, Synthese oder Filterung sowie die Notwendigkeit für das Training mit großen Batches beseitigt. Es zeigt eine vergleichbare Leistung wie RocketQA, ein hochentwickeltes, intensiv optimiertes System, mit einfacher Feinabstimmung in kleinen Batches.