संश्लेषित बहुपरक प्रश्न उत्पन्न करना

बहुपरक पुनर्प्राप्ति संवर्धित उत्पत्ति (MMRAG) बहुपरक दस्तावेजों पर प्रश्न-उत्तर प्रदान करने का एक शक्तिशाली दृष्टिकोण है। MMRAG का मूल्यांकन करने में एक प्रमुख चुनौती उन उच्च गुणवत्ता वाले डेटासेट की कमी है जो प्रश्न शैलियों और रुचि के मोडालिटीज़ से मेल खाते हैं। इस संदर्भ में, हम SMMQG, एक कृत्रिम डेटा उत्पन्न करने के ढांचे का प्रस्ताव करते हैं। SMMQG एक पुनर्प्राप्तकर्ता, बड़े भाषाई मॉडल (LLM) और बड़े बहुपरक मॉडल (LMM) के बीच बातचीत का लाभ उठाता है ताकि सीधे बहुपरक दस्तावेजों से प्रश्न और उत्तर के पेय बनाए जा सकें, जिसमें प्रश्न निर्दिष्ट शैलियों और मोडालिटीज़ के अनुसार होते हैं। हम SMMQG का उपयोग करके Wikipedia दस्तावेजों पर 1024 प्रश्नों का MMRAG डेटासेट उत्पन्न करते हैं और इसका उपयोग करके अत्याधुनिक मॉडल का मूल्यांकन करते हैं, जो मॉडल प्रदर्शन की जानकारी को उजागर करता है, जो केवल शैली और मोडालिटी-विशिष्ट मूल्यांकन डेटा के माध्यम से प्राप्त की जा सकती हैं। अगला, हम एक मानव अध्ययन के माध्यम से SMMQG द्वारा उत्पादित डेटा की गुणवत्ता को मापते हैं। हमें लगता है कि हमारे कृत्रिम डेटा की गुणवत्ता क्राउडसोर्स की गई बेंचमार्क MMQA की गुणवत्ता के समान है और दोनों डेटासेट का उपयोग करके डाउनस्ट्रीम मूल्यांकन परिणाम दृढ़ता से सहमत होते हैं।