परिचयात्मक प्रोग्रामिंग शिक्षा में बड़े भाषा मॉडल: चैटजीपीटी की प्रदर्शन और मूल्यांकन पर प्रभाव

यह पेपर बड़े भाषा मॉडल (LLMs) चैटजीपीटी-3.5 और GPT-4 के परिचयात्मक प्रोग्रामिंग कार्यों को हल करने में प्रदर्शन की जांच करता है। प्रदर्शन के आधार पर, LLMs का उपयोग करने वाले शिक्षण परिदृश्यों और मूल्यांकन प्रारूपों के लिए निष्कर्ष निकाले जाते हैं। विश्लेषण के लिए, शुरुआती प्रोग्रामर्स के लिए 72 पायथन कार्यों का चयन फ्री साइट कोडिंगबैट से किया गया। पूर्ण कार्य विवरणों को LLMs में इनपुट के रूप में उपयोग किया गया, जबकि उत्पन्न उत्तरों का मूल्यांकन कोडिंगबैट के यूनिट टेस्ट के माध्यम से किया गया। इसके अतिरिक्त, पाठ्य व्याख्याओं और प्रोग्राम कोड की सामान्य उपलब्धता का विश्लेषण किया गया। परिणाम 94.4 से 95.8% सही उत्तरों के उच्च स्कोर और पाठ्य व्याख्याओं और प्रोग्राम कोड की विश्वसनीय उपलब्धता दिखाते हैं, जो प्रोग्रामिंग शिक्षा और मूल्यांकन में LLMs को शामिल करने के नए तरीके खोलते हैं।