एलएलएम का मूल्यांकनकर्ता के रूप में: बग रिपोर्ट संक्षिप्तता का मूल्यांकन करने के लिए एक नया दृष्टिकोण

सॉफ्टवेयर उत्पादों का सारांश बनाना एक महत्वपूर्ण कार्य है जिस पर विस्तृत शोध किया गया है। सॉफ्टवेयर संक्षिप्तता दृष्टिकोणों का मूल्यांकन करने के लिए, मानव निर्णय अभी भी सबसे विश्वसनीय मूल्यांकन है। हालांकि, यह मूल्यांकनकर्ताओं के लिए समय लेने वाला और थकान वाला होता है, जिससे इसे लागू करना और पुनरुत्पादन करना चुनौतीपूर्ण हो जाता है। बड़े भाषा मॉडल (एलएलएम) ने विभिन्न सॉफ्टवेयर इंजीनियरिंग कार्यों में अद्वितीय क्षमताएं प्रदर्शित की हैं, जिससे हमें सॉफ्टवेयर उत्पादों का सारांश बनाने वाले दृष्टिकोणों के लिए स्वचालित मूल्यांकनकर्ताओं के रूप में उनकी संभावनाओं की खोज करने के लिए प्रेरित किया। इस अध्ययन में, हम यह जांचते हैं कि क्या एलएलएम बग रिपोर्ट संक्षिप्तता का प्रभावी रूप से मूल्यांकन कर सकते हैं। हमने एक प्रयोग किया जिसमें हमने मानवों और तीन एलएलएम (जीपीटी-4ओ, एलएलएएमए-3, और जेमिनी) को मूल्यांकन के लिए बग संक्षिप्तता समस्याओं का एक ही सेट प्रस्तुत किया, जिसमें दो कार्य शामिल थे: विकल्पों के सेट में से सही बग रिपोर्ट शीर्षक और बग रिपोर्ट सारांश का चयन करना। हमारे परिणाम बताते हैं कि एलएलएम ने बग रिपोर्ट सारांशों का मूल्यांकन करते समय सामान्यत: अच्छा प्रदर्शन किया, जिसमें जीपीटी-4ओ ने अन्य एलएलएम को पीछे छोड़ दिया। इसके अलावा, दोनों मानवों और एलएलएम ने लगातार निर्णय लेने का प्रदर्शन किया, लेकिन मानवों ने थकान का अनुभव किया, जिसने समय के साथ उनकी सटीकता को प्रभावित किया। हमारे परिणाम संकेत करते हैं कि एलएलएम बग रिपोर्ट संक्षिप्तता के लिए स्वचालित मूल्यांकनकर्ताओं के रूप में विचार किए जाने की संभावनाएं प्रदर्शित करते हैं, जिससे मूल्यांकन को बढ़ाने के साथ ही मानव मूल्यांकनकर्ताओं के प्रयास और थकान को कम किया जा सकता है।