Ausrichtung großer Sprachmodelle auf Empfehlungskompetenz

Große Sprachmodelle (LLMs) wurden kürzlich als Rückgrat für Empfehlungssysteme verwendet. Ihre Leistung bleibt jedoch oft hinter der konventioneller Methoden bei Standardaufgaben wie Retrieval zurück. Wir führen dies auf ein Missverhältnis zwischen dem Wissen der LLMs und dem Wissen zurück, das für effektive Empfehlungen entscheidend ist. Während LLMs im Bereich des natürlichen Sprachdenkens hervorragend abschneiden, können sie die komplexen Benutzer-Artikel-Interaktionen, die in Empfehlungsaufgaben inherent sind, nicht modellieren. Wir schlagen vor, die Wissenslücke zu schließen und LLMs mit empfehlungsspezifischem Wissen auszustatten, um dieses Problem anzugehen. Verfahren wie Masked Item Modeling (MIM) und Bayesian Personalized Ranking (BPR) haben bei konventionellen Empfehlungssystemen Erfolg gehabt. Inspiriert davon simulieren wir diese Verfahren durch natürliche Sprache, um Datenproben für Nebentätigkeiten zu generieren, die Artikelkorrelationen und Benutzerpräferenzen kodieren. Das Fine-Tuning von LLMs auf solchen Datenproben für Nebentätigkeiten und die Einbeziehung informativerer Datenproben für Empfehlungen erleichtert die Einspeisung empfehlungsspezifischen Wissens in LLMs. Umfangreiche Experimente in den Bereichen Retrieval, Ranking und Bewertungsprognosen an LLMs wie FLAN-T5-Base und FLAN-T5-XL zeigen die Wirksamkeit unserer Technik in Bereichen wie Amazon Spielzeug & Spiele, Schönheit sowie Sport & Freizeit. Bemerkenswerterweise übertrifft unsere Methode konventionelle und LLM-basierte Baselines, einschließlich des aktuellen SOTA, um signifikante Margen im Retrieval und zeigt ihr Potenzial zur Verbesserung der Empfehlungsqualität.