बदलते और प्रभावित किए जा सकने वाले इनाम कार्यों के साथ एआई संरेखण

मौजूदा एआई संरेखण दृष्टिकोण यह मानते हैं कि प्राथमिकताएँ स्थिर होती हैं, जो यथार्थवादी नहीं है: हमारी प्राथमिकताएँ बदलती हैं, और एआई प्रणालियों के साथ हमारी बातचीत से भी प्रभावित हो सकती हैं। स्थिर प्राथमिकताओं का गलत अनुमान लगाने के परिणाम स्पष्ट करने के लिए, हम डायनैमिक रिवार्ड मार्कोव डिसीजन प्रोसेसेस (DR-MDPs) प्रस्तुत करते हैं, जो स्पष्ट रूप से प्राथमिकता परिवर्तनों और एआई के उन पर प्रभाव को मॉडल करते हैं। हम दिखाते हैं कि अपनी सुविधा के बावजूद, स्थिर-प्राथमिकता का अनुमान मौजूदा संरेखण तकनीकों की मजबूती को कमज़ोर कर सकता है, जिससे वे अप्रत्यक्ष रूप से ऐसे तरीकों से उपयोगकर्ता प्राथमिकताओं को प्रभावित करने के लिए एआई प्रणालियों को इनाम देते हैं जो उपयोगकर्ता सचमुच नहीं चाहते। फिर हम संभावित समाधानों का अन्वेषण करते हैं। सबसे पहले, हम एक एकीकृत दृष्टिकोण प्रदान करते हैं कि कैसे एक एजेंट का अनुकूलन क्षितिज आंशिक रूप से अवांछनीय एआई प्रभाव को कम करने में मदद कर सकता है। फिर, हम प्राथमिकता परिवर्तन को शुरू से ही ध्यान में रखते हुए एआई संरेखण की विभिन्न अवधारणाओं को औपचारिक रूप देते हैं। आठ ऐसे संरेखण अवधारणाओं की ताकत और सीमाओं की तुलना करने पर हमें पता चलता है कि वे सभी या तो अवांछनीय एआई प्रभाव पैदा करने की ओर झुकाव रखते हैं, या अत्यधिक जोखिम-परहेज़ी हैं, जो सुझाव देता है कि बदलती प्राथमिकताओं की समस्याओं का एक सरल समाधान मौजूद नहीं हो सकता। चूंकि वास्तविक दुनिया की स्थितियों में बदलती प्राथमिकताओं से निपटना अनिवार्य है, इसलिए इस मुद्दे को सावधानी से संभालना, जोखिम और क्षमताओं के बीच संतुलन बनाना और भी महत्वपूर्ण हो जाता है। हमें आशा है कि हमारा कार्य संवैधानिक स्पष्टता प्रदान कर सकता है और ऐसे एआई संरेखण अभ्यासों की दिशा में पहला कदम हो सकता है जो मानव प्राथमिकताओं की बदलती और प्रभावित की जाने योग्य प्रकृति को स्पष्ट रूप से ध्यान में रखते हैं और उनसे निपटते हैं।