LexBoost: निकटतम पड़ोसियों के साथ शब्दार्थ दस्तावेज पुनर्प्राप्ति में सुधार

Sparse पुनर्प्राप्ति विधियाँ जैसे BM25 शब्दार्थ ओवरलैप पर आधारित हैं, जो खोज और दस्तावेज़ में दिखाई देने वाले शब्दों के सतही रूप पर ध्यान केंद्रित करती हैं। इन विधियों में उल्टे अनुक्रमांक के उपयोग से उच्च पुनर्प्राप्ति दक्षता होती है। दूसरी ओर, घनी पुनर्प्राप्ति विधियाँ सीखी गई घनी वेक्टरों पर आधारित होती हैं और इस प्रकार, प्रभावी होती हैं लेकिन तुलनात्मक रूप से धीमी होती हैं। चूंकि sparse और dense विधियाँ समस्याओं के प्रति अलग-अलग दृष्टिकोण अपनाती हैं और पूरक प्रासंगिकता संकेतों का उपयोग करती हैं, प्रभावशीलता और दक्षता को संतुलित करने के लिए अनुमान विधियों का प्रस्ताव दिया गया। दक्षता के लिए, अनुमान विधियाँ जैसे HNSW का उपयोग अक्सर थकान घनी पुनर्प्राप्ति को अनुमानित करने के लिए किया जाता है। हालाँकि, अनुमान तकनीकें अभी भी sparse दृष्टिकोण की तुलना में काफी अधिक विलंबिता दिखाती हैं। हम LexBoost का प्रस्ताव देते हैं जो पहले एक घने पड़ोसियों का नेटवर्क (एक कॉर्पस ग्राफ) बनाता है घनी पुनर्प्राप्ति दृष्टिकोण का उपयोग करते हुए जबकि अनुक्रमण करते हैं। फिर, पुनर्प्राप्ति के दौरान, हम दस्तावेज़ की शब्दार्थ प्रासंगिकता स्कोर और इसके पड़ोसियों के स्कोर दोनों पर विचार करते हैं ताकि दस्तावेज़ों को रैंक किया जा सके। LexBoost में क्लस्टर हाइपोथिसिस का यह आश्चर्यजनक रूप से सरल अनुप्रयोग मजबूत रैंकिंग प्रभावशीलता में योगदान करता है जबकि थोड़ा गणनात्मक ओवरहेड लाता है (चूंकि कॉर्पस ग्राफ ऑफ़लाइन संरक्षित किया जाता है)। यह विधि विचार किए गए पड़ोसियों की संख्या, स्कोर निर्धारित करने के लिए विभिन्न फ्यूजन पैरामीटरों, और विभिन्न डेटासेट निर्माण विधियों के खिलाफ मजबूत है। हम यह भी दिखाते हैं कि LexBoost पर पुनः रैंकिंग करने से पारंपरिक घनी पुनः रैंकिंग को सक्षम करते हैं और उच्च-विलंबता थकावट घनी पुनर्प्राप्ति के साथ तुलनीय परिणामों की ओर ले जाती है।