बेंचमार्किंग एक्सप्लेनेबल एआई - उपलब्ध टूलकिट और खुले चुनौतियों पर एक सर्वेक्षण

एक्सप्लेनेबल एआई (XAI) का लक्ष्य मशीन लर्निंग मॉडल की तर्कविधि को मानवों के लिए सुलभ बनाना है, ताकि एआई सिस्टम के उपयोगकर्ता अंतर्निहित मॉडल का मूल्यांकन और न्याय कर सकें। हालांकि, XAI तरीकों की काले बॉक्स प्रकृति के कारण, किसी मॉडल और व्याख्या विधि के योगदान को अंतिम आउटपुट में अलग करना मुश्किल है। यह स्पष्ट नहीं हो सकता कि क्या अप्रत्याशित आउटपुट मॉडल द्वारा या व्याख्या विधि द्वारा उत्पन्न होती है। इसलिए, व्याख्या मॉडल का तकनीकी (जैसे, मॉडल के प्रति निष्ठा) और उपयोगकर्ता-समर्थक (क्षेत्र ज्ञान के अनुरूपता) के संदर्भ में मूल्यांकन किया जाना चाहिए। एक हालिया सर्वेक्षण ने व्याख्याओं का मात्रात्मक मूल्यांकन करने के लिए 29 विभिन्न स्वचालित दृष्टिकोणों की पहचान की है। इस काम में, हम एक अतिरिक्त दृष्टिकोण लेते हैं और विश्लेषण करते हैं कि कौन से टूलकिट और डेटा सेट उपलब्ध हैं। हम यह जांचते हैं कि टूलकिट में कौन से मूल्यांकन मेट्रिक्स लागू हैं और क्या वे समान परिणाम उत्पन्न करते हैं। हमें यह पता चलता है कि वर्तमान में व्याख्या गुणवत्ता के केवल कुछ पहलू कवर किए गए हैं, डेटा सेट दुर्लभ हैं और विभिन्न टूलकिट के बीच मूल्यांकन परिणाम तुलनीय नहीं हैं। हमारा सर्वेक्षण XAI समुदाय के लिए शोध के भविष्य के दिशा-निर्देशों की पहचान करने के लिए एक मार्गदर्शक के रूप में कार्य कर सकता है, और सबसे विशेष रूप से, मूल्यांकन का मानकीकरण।