कॉपी करना, या न करना; यह न्यूरल अनुक्रमिक अनुशंसकों में आउटपुट सॉफ्टमैक्स लेयर का एक महत्वपूर्ण मुद्दा है

हाल की शोधों से पता चलता है कि मौजूदा न्यूरल मॉडल अनुक्रमिक अनुशंसा कार्यों में दोहराए गए आइटमों को संभालने में कठिनाई होती है। लेकिन, इस कठिनाई की हमारी समझ अभी भी सीमित है। इस अध्ययन में, हम इस क्षेत्र में एक महत्वपूर्ण समस्या का स्रोत पहचानकर इसे महत्वपूर्ण रूप से आगे बढ़ाते हैं: एकल छिपी हुई स्थिति एम्बेडिंग और आउटपुट सॉफ्टमैक्स लेयर में स्थैतिक आइटम एम्बेडिंग। विशेष रूप से, सॉफ्टमैक्स लेयर में वैश्विक आइटम एम्बेडिंग की समानता संरचना कभी-कभी एकल छिपी स्थिति एम्बेडिंग को नए आइटमों के करीब लाने के लिए मजबूर करती है जब कॉपी करना बेहतर विकल्प होता है, जबकि कभी-कभी इनपुट से आइटमों के करीब आना अनुचित होता है। इस समस्या को कम करने के लिए, हम हाल ही में प्रस्तावित सॉफ्टमैक्स विकल्पों जैसे सॉफ्टमैक्स-सीपीआर को अनुक्रमिक अनुशंसा कार्यों के लिए अनुकूलित करते हैं और यह प्रदर्शित करते हैं कि नए सॉफ्टमैक्स आर्किटेक्चर न्यूरल एन्कोडर की क्षमता को सीखने में मुक्त करते हैं कि कब कॉपी करना है और कब इनपुट अनुक्रम से आइटमों को बाहर रखना है। SASRec और GRU4Rec के लिए आउटपुट सॉफ्टमैक्स लेयर पर केवल कुछ सरल सुधार करते हुए, सॉफ्टमैक्स-सीपीआर 12 डेटासेट्स में निरंतर सुधार प्राप्त करता है। लगभग समान मॉडल आकार के साथ, हमारी सबसे अच्छी विधि न केवल 5 डेटासेट्स में दोहराए गए आइटमों के साथ GRU4Rec के औसत NDCG@10 में 10% (4%-17% व्यक्तिगत रूप से) सुधार करती है, बल्कि बिना दोहराए गए आइटमों के साथ 7 डेटासेट्स में 24% (8%-39%) सुधार भी करती है!