GenSco: Kann die auf Fragendekomposition basierende Passage-Alignment die Fragebeantwortung verbessern?

Die Retrieval-unterstützte Generierung (RAG) mit großen Sprachmodellen (LLMs) für die Fragebeantwortung (QA) erfordert, dass relevanter Kontext innerhalb des Prompts bereitgestellt wird, um das LLM bei der Antwortgenerierung zu unterstützen. Während der Generierung treten häufig Ungenauigkeiten oder Halluzinationen aufgrund zweier Hauptfaktoren auf: unzureichender oder ablenkender Kontext in den Prompts und die Unfähigkeit der LLMs, effektiv durch die Fakten zu schlussfolgern. In diesem Papier untersuchen wir, ob die Bereitstellung von ausgerichtetem Kontext durch eine sorgfältig ausgewählte Passage-Sequenz zu einer besseren Antwortgenerierung durch das LLM bei Multi-Hop-QA führt. Wir stellen „GenSco“ vor, einen neuartigen Ansatz zur Auswahl von Passagen basierend auf der vorhergesagten Dekomposition der Multi-Hop-Fragen. Der Rahmen besteht aus zwei unterschiedlichen LLMs: (i) dem Generator-LLM, das für die Fragendekomposition und die endgültige Antwortgenerierung verwendet wird; (ii) einem unterstützenden Open-Source-LLM, das als Scorer verwendet wird, um den Generator semantisch bei der Passageauswahl zu leiten. Der Generator wird nur einmal für die Antwortgenerierung aufgerufen, was zu einem kosteneffizienten und effektiven Ansatz führt. Wir bewerten auf drei allgemein etablierten Multi-Hop-Fragebeantwortungs-Datensätzen: 2WikiMultiHop, Adversarial HotPotQA und MuSiQue und erreichen einen absoluten Gewinn von 15,1 und 5,9 Punkten im Exact Match-Score in Bezug auf die am besten abschneidenden Baselines über MuSiQue und 2WikiMultiHop.