FIRST: तेज़ सुधारित सूचीवार पुनर्मूल्यांकन एकल टोकन डिकोडिंग के साथ

बड़े भाषा मॉडल (LLMs) ने सूचना पुनर्प्राप्ति के क्षेत्र में विशेष रूप से पुनर्मूल्यांकन के लिए काफी प्रगति की है। सूचीवार LLM पुनर्मूल्यांकनकर्ताओं ने मौजूदा पर्यवेक्षित दृष्टिकोणों की तुलना में बेहतर प्रदर्शन और सामान्यीकरण प्रदर्शित किया है। हालांकि, पारंपरिक सूचीवार LLM पुनर्मूल्यांकन विधियों में प्रभावशीलता की कमी है क्योंकि वे उम्मीदवार चरण पहचानकर्ताओं के जनित क्रमबद्ध अनुक्रम के रूप में रैंकिंग आउटपुट प्रदान करते हैं। इसके अलावा, उन्हें सामान्य भाषा मॉडलिंग उद्देश्य के साथ प्रशिक्षित किया गया है, जो सभी रैंकिंग त्रुटियों को समान रूप से मानता है--संभवतः अत्यधिक प्रासंगिक चरणों के गलत रैंकिंग की कीमत पर। इन सीमाओं को संबोधित करते हुए, हम FIRST प्रस्तुत करते हैं, एक नया सूचीवार LLM पुनर्मूल्यांकन दृष्टिकोण जो पहले उत्पन्न पहचानकर्ता के आउटपुट लॉजिट्स का उपयोग करके सीधे उम्मीदवारों की एक रैंक आदेश प्राप्त करता है। इसके अतिरिक्त, हम प्रशिक्षण के दौरान एक रैंक सीखने की हानि को शामिल करते हैं, अधिक प्रासंगिक चरणों के लिए रैंकिंग सटीकता को प्राथमिकता देते हुए। अनुभवजन्य परिणाम दर्शाते हैं कि FIRST 50% त्वरितता से निष्पादन करता है जबकि BEIR बेंचमार्क में लाभ के साथ मजबूत रैंकिंग प्रदर्शन बनाए रखता है। अंततः, सूचीवार LLM पुनर्मूल्यांकनकर्ताओं की व्यावहारिक प्रभावशीलता को स्पष्ट करने के लिए, हम निष्पादन के दौरान पुनर्प्राप्तकर्ताओं के लिए प्रासंगिकता फीडबैक प्रदान करने में उनके अनुप्रयोग का पता लगाते हैं। हमारे परिणाम दिखाते हैं कि LLM पुनर्मूल्यांकनकर्ता क्रॉस-एन्कोडर्स की तुलना में एक मजबूत डिस्टिलेशन सिग्नल प्रदान कर सकते हैं, जो प्रासंगिकता फीडबैक के बाद पुनर्प्राप्तकर्ता पुनः प्राप्ति में महत्वपूर्ण सुधार लाता है।