Lernen diskreter Darstellungen durch eingeschränktes Clustering für effektive und effiziente dichte Retrievals

Dichtes Retrieval (DR) hat eine state-of-the-art Effektivität in der Rangierung der ersten Stufe erreicht. Allerdings ist die Effizienz der meisten bestehenden DR-Modelle durch die hohen Speicherkosten für dichte Vektoren und die zeitaufwendige nächstgelegene Nachbarsuche (NNS) im Vektorraum begrenzt. Daher präsentieren wir RepCONC, ein neuartiges Retrieval-Modell, das diskrete Darstellungen durch eingeschränktes Clustering lernt. RepCONC trainiert gleichzeitig Dual-Encoder und die Produktquantifizierung (PQ)-Methode, um diskrete Dokumentdarstellungen zu lernen und ermöglicht eine schnelle approximative NNS mit kompakten Indizes. Es modelliert Quantisierung als einen eingeschränkten Clustering-Prozess, der erfordert, dass die Dokument-Embeddings gleichmäßig um die Quantisierungszentren gruppiert sind und unterstützt die End-to-End-Optimierung der Quantisierungsmethode und der Dual-Encoder. Wir demonstrieren theoretisch die Bedeutung der gleichmäßigen Clustering-Bedingung in RepCONC und leiten eine effiziente approximative Lösung für das eingeschränkte Clustering ab, indem wir es auf ein Beispiel des optimalen Transportproblems reduzieren. Neben dem eingeschränkten Clustering verwendet RepCONC außerdem ein vektor-basiertes invertiertes Dateisystem (IVF), um eine äußerst effiziente Vektorsuche auf CPUs zu unterstützen. Umfangreiche Experimente an zwei beliebten Ad-hoc- Retrieval-Benchmarks zeigen, dass RepCONC eine bessere Rangierungs-Effektivität als konkurrierende Vektorquantifizierungs-Baselines unter verschiedenen Komprimierungsverhältnis-Einstellungen erreicht. Es übertrifft auch erheblich eine Vielzahl bestehender Retrieval-Modelle in Bezug auf Retrieval-Effektivität, Speichereffizienz und Zeiteffizienz.