बीईआरटी के व्यवहारों को रैंकिंग में समझना

यह पत्र रैंकिंग कार्यों में बीईआरटी की प्रदर्शन और व्यवहार का अध्ययन करता है। हम पूर्व-प्रशिक्षित बीईआरटी का उपयोग करने के कई अलग-अलग तरीकों का अन्वेषण करते हैं और इसे दो रैंकिंग कार्यों पर ठीक करते हैं: एमएस मार्को पैसेज रीरैंकिंग और टीआरईसी वेब ट्रैक एड हॉक्स दस्तावेज़ रैंकिंग। एमएस मार्को पर प्रयोगात्मक परिणाम प्रश्न-उत्तर केंद्रित पैसेज रैंकिंग कार्यों में बीईआरटी की मजबूत प्रभावशीलता को प्रदर्शित करते हैं, साथ ही यह तथ्य कि बीईआरटी एक मजबूत इंटरैक्शन-आधारित सीक्वेंस-टू-सीक्वेंस मेल मॉडल है। टीआरईसी पर प्रयोगात्मक परिणाम दर्शाते हैं कि बीईआरटी जो आसपास के संदर्भों पर पूर्व-प्रशिक्षित है और एड हॉक्स दस्तावेज़ रैंकिंग की आवश्यकताओं के बीच के अंतर। विश्लेषण स्पष्ट करते हैं कि बीईआरटी अपने ट्रांसफार्मर परतों में प्रश्न-डॉक्यूमेंट टोकन्स के बीच अपनी ध्यान कैसे आवंटित करता है, यह कैसे पैराफ्रेज टोकन्स के बीच वर्णनात्मक मेल को प्राथमिकता देता है, और यह कैसे क्लिक-प्रशिक्षित न्यूरल रेंकर द्वारा सीखे गए नरम मेल पैटर्न से भिन्न है।