क्या LLMs पिछले गलतियों से सीख सकते हैं? तर्क करने के लिए LLMs की गलतियों की जांच करना

हाल के कार्यों ने दिखाया है कि LLMs को स्वर्ण मानक चैन-ऑफ-थॉट (CoT) तर्कों को ठीक करने या उन्हें कुछ-कम सुझावों में सही उदाहरणों के रूप में इस्तेमाल करने से लाभ होता है। जबकि मनुष्य वास्तव में सही उदाहरणों की नकल कर सकते हैं, हमारी गलतियों से सीखना मानव संज्ञान का एक और महत्वपूर्ण पहलू है। इस प्रकार, एक स्वाभाविक प्रश्न उठता है: क्या LLMs अपनी गलतियों से सीख सकते हैं और लाभ उठा सकते हैं, खासकर उनके तर्क के लिए? यह अध्ययन इस समस्या का अन्वेषण दोनों सुझाव देने और मॉडल ट्यूनिंग के दृष्टिकोण से करता है। हम CoTErrorSet, एक नया बेंचमार्क पेश करते हैं जिसमें 609, 432 प्रश्न हैं, प्रत्येक को सही और गलती संदर्भों के साथ डिजाइन किया गया है, और ऐसी गलतियाँ करने के प्रकार और कारणों को प्रदर्शित करता है। उन गलतियों की प्रभावशीलता का अन्वेषण करने के लिए, हम दो विधियाँ डिजाइन करते हैं: (1) आत्म-फिर से सोचने वाले सुझाव LLMs को यह पुनर्विचार करने में मदद करते हैं कि क्या उन्होंने समान पिछले गलतियाँ की हैं; और (2) गलती ट्यूनिंग सही और गलत तर्क क्षेत्रों में मॉडल को ठीक करने में शामिल है, बजाय इसके कि केवल पारंपरिक पद्धति में ग्राउंड ट्रुथ सीखने के लिए मॉडल को ट्यून करना। हम एक श्रृंखला प्रयोग करते हैं यह साबित करने के लिए कि LLMs दोनों दिशाओं में गलतियों से लाभ हासिल कर सकते हैं। हमारे दो तरीके संभावित रूप से लागत-कुशल रणनीतियाँ प्रदान करते हैं जो तर्क की क्षमताओं को बढ़ाने के लिए त्रुटियों का लाभ उठाते हैं, जो बारीकी से हाथ से तैयार किए गए स्वर्ण संदर्भों को बनाने की तुलना में काफी कम लागत में होता है। अंततः, हम LLMs की गलतियों के पीछे के कारणों का एक गहन विश्लेषण करते हैं, जो भविष्य के शोध को दरकिनार करने की आवश्यक दिशा प्रदान करता है। CoTErrorSet जल्द ही अनामता लिंक पर प्रकाशित किया जाएगा।