विरोधात्मक संदर्भ शिक्षण के साथ भाषा मॉडल उत्तरों का अनुकूलन

बड़े भाषा मॉडल (LLMs) मशीन लर्निंग अनुप्रयोगों के लिए越来越重要 होते जा रहे हैं। हालाँकि, LLMs को हमारी मंशा के साथ संरेखित करना चुनौतीपूर्ण हो सकता है, विशेष रूप से जब हम ऐसा सामग्री उत्पन्न करना चाहते हैं जो अन्य के मुकाबले वांछनीय हो या जब हम चाहते हैं कि LLM एक निश्चित शैली या स्वर में प्रतिक्रिया दे जो वर्णन करना कठिन हो। इस चुनौती का समाधान करने के लिए, हम एक दृष्टिकोण का प्रस्ताव करते हैं जो हमारी मंशा को बेहतर ढंग से वर्णित करने के लिए विरोधात्मक उदाहरणों का उपयोग करता है। इसमें सकारात्मक उदाहरण प्रदान करना शामिल है जो सच्ची मंशा को स्पष्ट करते हैं, साथ ही नकारात्मक उदाहरण जो दिखाते हैं कि हम LLMs से क्या विशेषताएँ टालना चाहते हैं। नकारात्मक उदाहरण लेबल किए गए डेटा से प्राप्त किए जा सकते हैं, मानव द्वारा लिखे गए या LLM द्वारा स्वयं उत्पन्न किए गए। उत्तर उत्पन्न करने से पहले, हम मॉडल से उदाहरणों का विश्लेषण करने के लिए कहते हैं ताकि वह स्वयं को सिखा सके कि क्या टालना है। यह तर्कशीलता चरण मॉडल को उपयोगकर्ता की आवश्यकता के उचित शब्दांकन के साथ प्रदान करता है और इसे बेहतर उत्तर उत्पन्न करने की दिशा में मार्गदर्शन करता है। हमने अपने दृष्टिकोण का परीक्षण संश्लेषित और वास्तविक दुनिया के डेटा सेट पर किया, जिसमें StackExchange और Reddit शामिल हैं, और पाया कि यह मानक कुछ-शॉट प्रॉम्प्टिंग की तुलना में प्रदर्शन में महत्वपूर्ण सुधार करता है।