सॉफ्टवेयर डेवलपर्स अक्सर Stack Overflow जैसे प्लेटफॉर्म्स पर सहायता चाहते हैं। हालांकि, ChatGPT जैसे Large Language Models (LLMs) के उद्भव के साथ, डेवलपर्स के ऑनलाइन सहायता प्राप्त करने का तरीका धीरे-धीरे बदल रहा है। यह बदलाव आवश्यक रूप से प्रदान की गई जानकारी की सटीकता की गारंटी नहीं देता है, क्योंकि LLMs में जटिल डोमेन-विशिष्ट सामग्री को सटीक रूप से समझने की सीमा हो सकती है जिससे गलत प्रतिक्रियाएं हो सकती हैं। इस अध्ययन का उद्देश्य यह मूल्यांकन करना है कि तकनीकी प्रश्नों को सटीक रूप से संबोधित करने में ChatGPT के विकल्प Stack Overflow उपयोगकर्ताओं के विकल्पों के साथ कितने निकटता से मेल खाते हैं। इस उद्देश्य के लिए, Stack Overflow से 776 Java-संबंधी प्रश्नों का चयन किया गया था। ChatGPT को प्रत्येक प्रश्न के लिए Stack Overflow उपयोगकर्ताओं द्वारा प्रदान किए गए पाँच उत्तरों का विश्लेषण करने और उस उत्तर की पहचान करने के लिए कहा गया था जिसे वह सबसे सटीक मानता था। परिणाम बताते हैं कि ChatGPT 56% मामलों में Stack Overflow उपयोगकर्ताओं द्वारा स्वीकृत उत्तर की पहचान करता है। 44% मामलों में जहाँ ChatGPT स्वीकृत उत्तर से भिन्न था, मैन्युअल विश्लेषण से पता चला कि कई मामलों में इसका चुना गया उत्तर अभी भी तकनीकी रूप से सटीक था, भले ही इसे Stack Overflow पर स्वीकृत के रूप में चिह्नित नहीं किया गया था। विशेष रूप से, इनमें से 31% भिन्न विकल्प तब पोस्ट किए गए थे जब Stack Overflow उपयोगकर्ता पहले ही स्वीकृत उत्तर चुन चुके थे। इससे पता चलता है कि Stack Overflow पर कुछ प्रश्नों के कई मान्य उत्तर हो सकते हैं, जिनमें अधिक हालिया उत्तर भी शामिल हैं जो पृष्ठ के शीर्ष पर प्रदर्शित स्वीकृत उत्तर जितने ही सटीक हैं।
Reis et al. (Fri,) ने इस प्रश्न का अध्ययन किया।
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: